进行braod搜索时超时

2024-05-20 02:31:40 发布

您现在位置：Python中文网/ 问答频道 /正文
6800 3

我想把所有的音乐文件类型版权所有.gov网站在过去的3年里一直在使用scrapy，但是我一直得到这个错误：

User timeout caused connection failure: Getting http://cocatalog.loc.gov/cgi-bin/Pwebrecon.cgi?PID=JADxIm18gK9YX6t-BSYC9oABskwhR&SEQ=20150331032850&CNT=25&HIST=1&Search_Arg=PAu003%3F&Search_Code=FT%2A took longer than 180 seconds..

我知道它对网站有一些限制（甚至手动搜索也会导致网站超时）。这是我的蜘蛛：

^{pr2}$

有没有办法解决这个超时问题？在


Tags： search版权所有failure音乐网站错误timeoutconnection
1条回答
网友
1楼 · 发布于 2024-05-20 02:31:40

在您的设置.py，默认值为180秒

    DOWNLOAD_TIMEOUT = 360 // for six minutes.

相关问题 更多 >

    编程相关推荐