忽略多个蜘蛛自定义设置的垃圾项目

Question

场景：

• 一个带有多个蜘蛛的垃圾项目。在
• 每个蜘蛛定义的自定义设置。在

问题：

• 在执行（即scrapy crawl…）时，正在执行的spider的自定义设置将被同一项目中另一个spider的自定义设置覆盖。在

spider01.py

class FirstXmlSpider(XMLFeedSpider):

# Spider Name
name = 'spider01'

# Initialise Settings
now = datetime.datetime.now()
settings.set('LOG_FILE', './logs/' + name + '_' + now.strftime("%Y%m%d_%H%M%S") + '.txt')

spider02.py

^{pr2}$

复制步骤

1. 执行scrapy crawl spider01
2. 检查日志目录（希望看到以spider01前缀的日志文件）
3. 请参阅内容正确但文件名错误的日志文件（spider02）。在

有什么想法吗？我以前用多个蜘蛛设置了一些垃圾项目，没有问题。不知道为什么我现在有问题？在

Answer 1

由于Scrapy 1.0，您可以添加蜘蛛的自定义设置，而无需更改项目的全局设置。只需在spider中添加一个名为custom_settings的属性。在

看看文档：http://doc.scrapy.org/en/latest/topics/settings.html#settings-per-spider