Scrapy:网站正在减缓我的请求

2024-06-11 11:48:12 发布

您现在位置:Python中文网/ 问答频道 /正文

我用刮痧纸写了一只蜘蛛。每次我试图抓取一个特定的网站,蜘蛛在一开始就运行得很好。但当我下到500-600请求时,蜘蛛开始缓慢爬行

我已经检查了内存和cpu设置,但这不是问题所在。我很确定这个网站正在减缓我的请求

我如何调整scrapy以快速且一致地刮取


Tags: 内存网站cpuscrapy蜘蛛
1条回答
网友
1楼 · 发布于 2024-06-11 11:48:12

如果网站减慢了你的请求速度,最好对你发送的请求更加小心。 您可以尝试以下几点:

  • 将“AUTOTHROTTLE_ENABLED”设置为True:当scrapy看到服务器响应缓慢时,它将调整爬行速度
  • 自己限制并发请求的数量(通过设置每个域的并发请求),并将下载延迟更改为在请求之间稍等
  • 使用代理:目标网站很可能基于IP限制您。使用代理将克服这一问题,但在目标服务器因您的请求而过载的情况下,这并没有帮助

相关问题 更多 >