抓痒速度慢（60页/分钟）

2024-10-01 07:38:49 发布

您现在位置：Python中文网/ 问答频道 /正文
10494 3

我遇到了爬行速度慢的刮痧（大约1页/秒）。 我正在从aws服务器上抓取一个主要的网站，所以我不认为这是一个网络问题。Cpu利用率远未接近100，如果我启动多个废进程，爬网速度会快得多。在

Scrapy似乎在抓取一堆页面，然后挂起几秒钟，然后重复。在

我试过玩： 并发请求数=并发请求数/域数=500

但这似乎并不能使针头超过20。在


Tags： 网络服务器aws进程网站页面利用率cpu
1条回答
网友
1楼 · 发布于 2024-10-01 07:38:49

您确定可以高速爬网目标站点吗？许多网站实施下载阈值，“过了一段时间”就会开始缓慢响应。在

相关问题 更多 >

    编程相关推荐