正在读取蜘蛛屑中的设置

2024-10-01 13:26:42 发布

您现在位置:Python中文网/ 问答频道 /正文

我写了一只小蜘蛛。下面是我的代码

class ElectronicsSpider(scrapy.Spider):
    name = "electronics"
    allowed_domains = ["www.olx.com"]
    start_urls = ['http://www.olx.com/']

    def parse(self, response):
        pass

我的问题是,我想用设置读取名称、允许的域名和起始网址。我该怎么做?在

我试着进口

^{pr2}$

也试过这个

 def __init__(self,crawler):
        self.settings = crawler.settings

但我一点也没有。帮我读蜘蛛的设置?在


Tags: 代码nameselfcomsettingsdefwwwclass
3条回答

self.settings尚未在^{中启动。您可以在start_requests()中检查self.settings。在

def start_requests(self): 
    print self.settings

我想如果你想访问scrapy设置.py那么@Sellamani的回答很好。但我猜名称、允许的域和起始URL不是中定义的变量设置.py. 但是如果你想有同样的安排,那么就做你自己的配置文件如下,你自己的.cfg

[Name]
crawler_name=electronics

[DOMAINS]
allowed_domains=http://example.com

然后在程序中使用ConfigParser模块来访问你自己的.cfg

^{pr2}$
from scrapy.utils.project import get_project_settings

settings=get_project_settings()
print settings.get('NAME')

使用此代码,我们可以从设置文件读取数据。。。在

相关问题 更多 >