scrapyd在同一时间只运行两个作业

2024-10-01 07:48:07 发布

您现在位置:Python中文网/ 问答频道 /正文

我很高兴与刮蹭和刮蹭最多150个工作在同一时间。 我使用旋转代理没有问题。我更改了maxproc几次,并勉强处理了10个作业,因为我刮取的服务器不是那么强大。 一段时间后,scrapyd只能同时运行两个作业。 我没有在scrapyd配置中做任何改变。 这是我的scrapyd配置,存储在/etc/scrapyd中/scrapyd.conf.Others conf文件不存在。在

[scrapyd]
items_dir   = /root/scrapy/results/
max_proc    = 0
max_proc_per_cpu = 10
jobs_to_keep = 4000000

如前所述,我并没有随着时间的推移而改变。我用这个配置同时处理了10个工作。 Scrapyd daemonstatus说

^{pr2}$

我不明白,为什么scrapyd停止做我该做的事。 我尽了我所能去修复它。 我在其他目录下运行scrapyd,清除了旧作业的条目和日志,但没有任何变化。我仔细检查了代理和蜘蛛代码。在

什么能让scrapyd停止同时运行更多的作业? 我真的很绝望


Tags: 文件服务器代理confdir作业etcitems