使用urllib2和mechanize进行爬网将向m抛出错误

Question

我使用urllib2和mechanize对一些站点进行爬网，但有些站点给了我错误

当我使用urllib2进行爬网时，它会给我HTTPError:HTTPError（）

urllib2的代码

import urllib2
response=urllib2.urlopen('http://proxygaz.com/country/india-proxy/').read()

错误

HTTPError: HTTPError()

当我使用mechanize进行爬网时，它会给我httperror\u seek\u wrapper:>>>>

机械化的代码

^{pr2}$

错误

httperror_seek_wrapper: >>

Answer 1

遇到相同的错误，请尝试使用用户代理或requests：

import requests

response=requests.get('http://proxygaz.com/country/india-proxy/')
print(response.status_code)
200

使用代理很好：

^{pr2}$

Answer 2

从urllib2.urlopen()示例来看，异常是：

urllib2.HTTPError: HTTP Error 403: Forbidden

由于某些原因，您没有访问资源的权限。。。。是用户代理。它与^{}一起工作，或者您可以按如下方式更改用户代理：

^{pr2}$