scrapyd在同一时间只运行两个作业我很高兴与刮蹭和刮蹭最多150个工作在同一时间。 我使用旋转代理没有问题。我更改了maxproc几次,并勉强处理了10个作业,因为我刮取的服务器不是那么强大。 一段时间后,scrapyd只能同时运行两 ...2024-10-01 已阅读: n次