在scrapy中创建循环的正确方法是什么？

Question

我已经创建了其他网页，但我给你看一个。我已经做了另一个专门用于循环的函数，但它没有给出结果。这给了我错误。在哪里放置find_items函数？还是有其他问题

以下是错误：

yield from find_items(response, names1, finder1)
NameError: name 'find_items' is not defined

代码如下：

    # save and call request to another page
    dct = [(self.about_page, self.parse_about)]
    for page, callback in dct:
        yield response.follow(page, callback, meta={'items': items})

def find_items(response, names1, finder1):
    items = response.meta['items']
    for name, find in zip(names1.values(), names1.values()):
        items[name] = response.css(find).extract()
        yield items


def parse_about(self, response):
    # do your stuff on second page
    # items = response.meta['items']
    names1 = {'name1': 'Headings',
          'name2': 'Paragraphs',
          'name3': '3 Projects',
          'name4': 'About Dmoz',
          'name5': 'Languages',
          'name6': 'You can make a differnce', 
          'name7': 'Further Information'
          }

    finder1 = {'find1': 'h2::text , #mainContent h1::text',
           'find2': 'p::text',
               'find3': 'li~ li+ li b a::text , li:nth-child(1) b a::text',
               'find4': '.nav ul a::text , li:nth-child(2) b a::text',
               'find5': '.nav~ .nav a::text',
           'find6': 'dd::text , #about-contribute::text',
           'find7': 'li::text , #about-more-info a::text'
          }

    yield from find_items(response, names1, finder1)

Answer 1

在这种情况下find_items应该在类之外

如果要在类内使用它，请检查缩进并将self添加到参数：

def find_items(self, response, names1, finder1):
    items = response.meta['items']
    for name, find in zip(names1.values(), names1.values()):
        items[name] = response.css(find).extract()
        yield items

在parse_about中，不要忘了添加self.：

yield from self.find_items(response, names1, finder1)

除此之外，请检查您的Python版本。用法yield from仅出现在3.x版本上。对于2.x版本，您应使用：

for item in self.find_items(response, names1, finder1):
    yield item