没有名为的模块项目.spiders.myspider在定制纸条上

2024-09-27 21:31:21 发布

您现在位置:Python中文网/ 问答频道 /正文

我开发了一个包含3个继承层次的scrapy项目:

  • [root\u scrapy]/lib/basedSpider:Wich包含所有爬网进程、xpath上的循环等。。你知道吗
  • [root\u scrapy]/lib/myspider:Wich包含所有用于搜索信息的xpath&从basedSpider继承
  • [root\u scrapy]/spiders/myspider:Wich包含多个只包含起始URL的spider/name&;inherit from lib/myspider

我想创建一个python脚本来启动spider/myspider上的所有spider includes,以避免调用(或crontab)scrapy crawl name1 | name2 | name3 |等。。你知道吗

我尝试了Running multiple spiders in the same process,还有很多其他的解决方案和“scrapy launch script”google结果,但是每次我

ImportError: No module named project.project.spiders.myspider

或者使用系统路径附加在我的剧本上

ImportError: No module named project.project.lib.myspider

现在我不能从python脚本启动多个spider。。你知道吗

有人成功了吗?或者有没有可能创建一个称为所有其他蜘蛛的全局蜘蛛,我可以用scrapy crawl myGlobalSpider启动它

提前谢谢


Tags: noproject脚本librootxpathspiderscrapy

热门问题