我试图让我的爬虫爬到下一页,所以我写了这个函数:
def requestURL(self, hrefPath):
print(hrefPath)
url = "http://www.presseportal.de/" + hrefPath
yield scrapy.Request(url, callback=self.parse)
它甚至没有打印变量hrefPath
,所以我怀疑函数没有被调用,尽管我很确定我是这样调用的:
self.requestURL(hrefPath)
我对scrapy很陌生,所以如果这个问题看起来很愚蠢,我很抱歉
我想出来了: 而不是写作
yield scrapy.Request(url, callback=self.parse)
写入返回
yield scrapy.Request(url, callback=self.parse)
在函数中以及在解析函数中调用函数时写入:
yield requestURL(hrefPath)
相关问题 更多 >
编程相关推荐