响应回调中的Scrapy Spider For循环不迭代

Question

我尝试在这个SO线程中使用“warwaruk”描述的链接解析结构： Following links, Scrapy web crawler framework

当只从每页抓取一个项目时，这非常有用。但是，当我试图创建一个for循环来获取每个页面中的所有项时，parse_item函数似乎在到达第一个yield语句时终止。我有一个自定义的管道设置来处理每个项目，但目前它每页只接收一个项目。在

让我知道如果我需要包括更多的代码，或澄清。谢谢！在

def parse_item(self,response):  
    hxs = HtmlXPathSelector(response)
    prices = hxs.select("//div[contains(@class, 'item')]/script/text()").extract()
    for prices in prices:
        item = WalmartSampleItem()
        ...
        yield items

Answer 1

您应该在for循环中yield一个item，而不是items：

for prices in prices:
    item = WalmartSampleItem()
    ...
    yield item