scrapy能同时满足请求和项目吗？

Question

当我编写parse()函数时，是否可以为一个页面同时生成请求和项？

我想在A页提取一些数据，然后将数据存储在数据库中，并提取要遵循的链接（这可以通过爬行蜘蛛中的规则来完成）。

我把A页的链接页面称为B页，所以我可以编写另一个parse_item（）从B页中提取数据，但是我想提取B页中的一些链接，所以我只能使用规则来提取链接？如何处理Scrapy中的重复url？

Answer 1

来自谷歌集团的史蒂文·阿尔梅罗斯：

你说得对，你可以提出请求并返回一个项目列表，但这不是你想要的。您试图生成一个项目列表，而不是返回它们。而且由于已经将parse（）用作生成函数，因此不能同时使用yield和return。但你可以有很多收益。

试试这个：

def parse(self, response):
    hxs = HtmlXPathSelector(response)
    base_url = response.url
    links = hxs.select(self.toc_xpath)

    for index, link in enumerate(links):
        href, text = link.select('@href').extract(), link.select('text()').extract()
        yield Request(urljoin(base_url, href[0]), callback=self.parse2)

    for item in self.parse2(response):
        yield item