如何从python脚本运行和保存scrapy状态

Question

在scrapy项目中，我们可以通过eg的JOBDIR设置定义一个job目录来获得持久性支持

scrapy crawl somespider -s JOBDIR=crawls/somespider-1

但是如何在运行spider时使用爬虫程序从python脚本中得到的答案是How to run Scrapy from within a Python script？

Answer 1

正如您的参考问题所指出的，您可以将设置传递给CrawlerProcess实例。在

因此，您只需通过JOBDIR设置：

import scrapy
from scrapy.crawler import CrawlerProcess

class MySpider(scrapy.Spider):
    # Your spider definition
    ...

process = CrawlerProcess({
    'JOBDIR': 'crawls/somespider-1'  # <  - Here
})

process.crawl(MySpider)
process.start()