在什么情况下，Scrapy会抛出“connectionsweally closed”错误？

Question

在站点上运行爬虫程序时，我多次收到以下错误消息：

<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>

当在不同的站点上运行爬虫程序时，我没有遇到这个错误，它试图访问的页面我可以通过浏览器或通过curl访问。因此，我想知道什么情况会导致这个错误的发生？在

澄清一下，完全错误大致如下：

^{pr2}$

有许多不同的url会产生类似的错误，同样，如果我多次运行它，它也不会总是失败。因此，我不清楚ConnectionDone: Connection was closed cleanly应该意味着什么问题。在

Answer 1

今天我也犯了同样的错误。我认为那些网站有爬虫预防措施。 如果我加上：

USER_AGENT = 'Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0'  

在settings.py中，它解决了错误。在