python urlopen错误[Errno 10060]

Question

我试着运行下面的代码

for parname in parss:
    data = {'action': 'listp', 'parish': parname}
    data = urllib.urlencode(data)
    req = urllib2.Request('http://www.irishancestors.ie/search/townlands/ded_index.php', data)
    response = urllib2.urlopen(req)

但是在代码执行几分钟后，我得到了下面的错误

^{pr2}$

这是我的代理设置。在

非常感谢任何帮助

Answer 1

正如评论中所讨论的，在极短的时间内执行大量请求可能会导致服务器，尤其是web服务器，阻止您的连接尝试。在

这是对付网络上自动攻击的常用方法。 根据服务器的不同，在请求之间等待很短的时间应该可以解决您的问题。在

你也可以使用一个更动态的方法。首先，执行尽可能多的请求，中间没有等待。如果一个请求的时间比平时长得多，那么很可能是超时，您必须等待。此时，您取消了请求，请稍候再试。如果随后的尝试也导致超时，则等待时间将加倍。通过这个过程，称为adaptivebackoff，您应该（希望）能够以最小的开销访问所需的数据。在