Scrapy: ImportError: 未找到名为project_name.settings的模块

Question

我正在尝试创建一个运行许多spider的脚本，但是我得到了ImportError: No module named project_name.settings

我的脚本如下：

import os
os.system("scrapy crawl spider1")
os.system("scrapy crawl spider2")
....
os.system("scrapy crawl spiderN")

我的设置.py在

^{pr2}$

我的蜘蛛看起来像普通的蜘蛛，其实很简单。。。在

import scrapy
from scrapy.crawler import CrawlerProcess
from Projectname.items import ProjectnameItem

class ProjectnameSpiderClass(scrapy.Spider):
    name = "Projectname"
    allowed_domains = ["Projectname.com"]

    start_urls = ["...urls..."]


    def parse(self, response):
        item = ProjectnameItem()

我给了他们通用的名字，但你明白了，有没有办法解决这个错误？在

Answer 1

编辑2018：

您需要从项目文件夹运行spider，这意味着os.system("scrapy crawl spider1")必须从包含{}的文件夹中运行。在

或者你也可以像我以前那样，把所有的代码放在一个文件中（旧的答案，不再是我推荐的，但仍然是有用和体面的解决方案）

Well, in case someone comes up to this question I finally used a heavily modified version of this https://gist.github.com/alecxe/fc1527d6d9492b59c610 provided by alexce in another question. Hope this helps.