暂停/继续作业

Question

看起来没有合法的方法可以暂停/继续使用Scrapyd爬行，就像对Scrapy本身一样（Scrapy crawling spider-s JOBDIR=JOBDIR/spider-1）。 我找到的唯一解决办法是：

https://groups.google.com/forum/#!msg/scrapyusers/2VjEBEbOo7s/MSH4GJc2B0sJ

但我不明白这个想法。在

那么，是否可以暂停/继续与Scrapyd的工作？在

谢谢你的时间

Answer 1

想法如下：

从cmd运行爬行器时，可以粘贴额外的参数，例如：scrapy crawl myspider -s JOBDIR=crawls/somespider-1

在端点schedule.json中使用Scrapyd时，还可以粘贴一些设置。如果您正在使用scrapyd-client这将如下所示：

s = {'JOBDIR': 'crawls/somespider-1'}
job = api.schedule(project_name, spider_name, settings=s)

之后，您可以取消作业。下一次，当你要运行相同的作业时-scrapyd继续以前的工作