我正在解析一些sitemap的xml,我偶然发现了一个实现cloudflare ddos保护的站点。我最初有这样的东西:
from xml.dom import minidom
import urllib, urllib2
url='http://rsvpgallery.com/sitemap_products_1.xml?from=1&to=9999999999'
xml = urllib.urlopen(url).read()
通过检查xml变量,我们可以看到它产生了cloudflare保护页面,并且该站点根据我的浏览器签名禁止了我的访问。在
为了解决这个问题,我想实现一个用户代理头的添加。 我在想这样的事情:
^{pr2}$但是当我用这个新的url变量声明xml时,我得到了一个错误:
^{3}$任何关于如何解决这个问题的想法或想法都将不胜感激。在
它应该对你有用:
你的剧本应该可以用了。。。似乎您已经将url变量替换为xml变量,只是有点混乱。在
相关问题 更多 >
编程相关推荐