我写了一只小蜘蛛。下面是我的代码
class ElectronicsSpider(scrapy.Spider):
name = "electronics"
allowed_domains = ["www.olx.com"]
start_urls = ['http://www.olx.com/']
def parse(self, response):
pass
我的问题是,我想用设置读取名称、允许的域名和起始网址。我该怎么做?在
我试着进口
^{pr2}$也试过这个
def __init__(self,crawler):
self.settings = crawler.settings
但我一点也没有。帮我读蜘蛛的设置?在
self.settings
尚未在^{start_requests()
中检查self.settings
。在我想如果你想访问scrapy设置.py那么@Sellamani的回答很好。但我猜名称、允许的域和起始URL不是中定义的变量设置.py. 但是如果你想有同样的安排,那么就做你自己的配置文件如下,你自己的.cfg:
然后在程序中使用ConfigParser模块来访问你自己的.cfg:
^{pr2}$使用此代码,我们可以从设置文件读取数据。。。在
相关问题 更多 >
编程相关推荐