网站在浏览器中打开，但在Python中打开时返回403

Question

有一个网站在浏览器中愉快地打开，在Python中打开时返回403 HTTP错误，如下所示：

from bs4 import BeautifulSoup
import urllib2

link = 'http://niezalezna.pl/'

r = urllib2.urlopen(link).read()
soup = BeautifulSoup(r, 'lxml')

print soup.prettify()

这个网站是一个很受欢迎的新闻服务。那么，当使用上面这样的代码打开时，是否可以使URL返回htp403错误？ 谢谢

Answer 1

感谢上面的评论找到了答案。代码在下面，完整的答案可以在这里找到：Changing user agent on urllib2.urlopen

from bs4 import BeautifulSoup
import urllib2

link = 'http://niezalezna.pl/'

opener = urllib2.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
response = opener.open(link)

soup = BeautifulSoup(response, 'lxml')

print soup.prettify()