Scrapy：通过cmdLine从同一个python进程运行多个spider失败

Question

代码如下：

if __name__ == '__main__':
    cmdline.execute("scrapy crawl spider_a -L INFO".split())
    cmdline.execute("scrapy crawl spider_b -L INFO".split())

我打算在一个scrapy项目下从同一个主门户运行多个spider，但结果发现只有第一个spider成功运行，而第二个spider似乎被忽略了。有什么建议吗？在

Answer 1

就这么做吧

import subprocess

subprocess.call('for spider in spider_a spider_b; do scrapy crawl $spider -L INFO; done', shell=True)