从脚本中运行Scrapy spider和Scrapy参数

Question

我用scrapy编写了一个spider&我可以通过python脚本成功地运行它。 问题是，在运行一个蜘蛛通过刮泥提示，我们提供了像“-o”这样的数据ScrapedData.json-t json“的 我要运行“scrapy crawl myspider-oScrapedData.json-t json“通过python脚本。 我们非常感谢您的帮助。提前谢谢！在

Answer 1

• -o ScrapedData.json重写FEED_URI设置
• 并且-t json覆盖FEED_FORMAT设置

（见https://github.com/scrapy/scrapy/blob/master/scrapy/commands/crawl.py#L24）

因此，当从脚本运行spider时，应该考虑覆盖这两个设置。在

Answer 2

你是说像这样？在

from scrapy import cmdline

cmdline.execute("scrapy crawl myspider -o ScrapedData.json -t json".split())