2024-06-11 11:48:12 发布
网友
我用刮痧纸写了一只蜘蛛。每次我试图抓取一个特定的网站,蜘蛛在一开始就运行得很好。但当我下到500-600请求时,蜘蛛开始缓慢爬行
我已经检查了内存和cpu设置,但这不是问题所在。我很确定这个网站正在减缓我的请求
我如何调整scrapy以快速且一致地刮取
如果网站减慢了你的请求速度,最好对你发送的请求更加小心。 您可以尝试以下几点:
如果网站减慢了你的请求速度,最好对你发送的请求更加小心。 您可以尝试以下几点:
相关问题 更多 >
编程相关推荐