python urllib2无法获取特定的u

Question

我使用urllib2请求url并读取它们的内容，但不幸的是，对于某些url，它不起作用。看看这些命令：

#No problem with this URL
urllib2.urlopen('http://www.huffingtonpost.com/2014/07/19/todd-akin-slavery_n_5602083.html')
#This one produced error
urllib2.urlopen('http://www.foxnews.com/us/2014/07/19/cartels-suspected-as-high-caliber-gunfire-sends-border-patrol-scrambling-on-rio/')

生成的第二个URL错误如下：

^{pr2}$

这有什么问题吗？在

Answer 1

我认为该站点正在检查User-Agent和/或其他urllib默认情况下没有设置的头。在

您可以手动设置用户代理。在

请求库自动设置用户代理。在

但是请记住，请求用户代理也可能被某些站点阻止。在

试试这个。这对我很有用。你需要先安装请求模块！在

pip install requests

那么

^{pr2}$

Urllib很难，您必须编写更多代码。请求更简单，更符合Python的理念，即代码应该是漂亮的！在