我有以下两个垃圾项目,配置如下
项目1的scrapy.cfg
[settings]
default = Project1.settings
[deploy]
url = http://localhost:6800/
project = Project1
[scrapyd]
eggs_dir = eggs
logs_dir = logs
logs_to_keep = 500
dbs_dir = dbs
max_proc = 5
max_proc_per_cpu = 10
http_port = 6800
debug = off
runner = scrapyd.runner
application = scrapyd.app.application
和Project2的scrapy.cfg
但是当我看一下http://localhost:6800/jobs时,我总是看到只有8个项目在运行,这意味着默认的max_proc_per_cpu没有应用,我用以下命令删除项目
curl http://localhost:6800/delproject.json -d project=Project1
curl http://localhost:6800/delproject.json -d project=Project2
并再次部署它们以确保部署新的更改。但蜘蛛的数量仍然是8。在
我的VPS CPU有两个核心。我可以用它
python -c 'import multiprocessing; print(multiprocessing.cpu_count())'
。在
如何获得Scrapyd部署配置? 如何设置每个cpu的最大进程数?在
目前没有回答
相关问题 更多 >
编程相关推荐