从一张单独的python纸条上运行spider

Question

我想知道从另一个python脚本运行spider的最佳方法是什么。我的scrapy项目由4个不同的spider组成，所有这些spider都创建了帮助其他spider工作的文件，其中一些spider必须读取一些文件才能工作。这一部分已经完成了，但是是单独完成的（从控制台中独立运行spider）。你知道吗

例如，我怎么能做这样的事情

if (productToSearchIsBlue):

    #Make one spider crawl

else:

    #Make another spider crawl

我最后的计划是把完整的程序上传到云端，让它自动运行，这能做到吗？你知道吗

我找到了这个问题的一些答案，但它们都很老了，可能是另一个版本的scrapy。你知道吗

Answer 1

假设您已经正确地设置了其他所有内容，下面是一个根据documentation的简单示例。你知道吗

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings


process = CrawlerProcess(get_project_settings())

productToSearchIsBlue = False

if productToSearchIsBlue:
    # Make one spider crawl
    process.crawl('spider-one')
else:
    # Make another spider crawl
    process.crawl('spider-two')

process.start()

然后你可以在云服务器上运行这个。但我无法回答这是否是你试图解决的问题的最佳解决方案。你知道吗