计算网页页面的总列表

2024-10-08 19:24:00 发布

您现在位置:Python中文网/ 问答频道 /正文

我想计算网页的总列表数,但是棘手的是在最后一页,它可能有未填充的列表总数,因此,更好的方法是区别对待它,分别计算它的总列表数,然后从中取你添加到其他页面总列表中的总列表数,以得到最终答案

我可以调用最后一页的url并跟踪它,但我的问题是现在找到最后一页上的列表总数并将其放在一个变量中,因为我想使用该变量来添加其他页面的一些总列表

def count_list(self,response):

    lpage_url = "https://google.com/page/"

    lpg_lngs = []

    if lpage_url:
       yield lpg_lngs.append(response.follow(lpage_url, 
                                                call=self.manp))
    othr_lngs = len(response.xpath("//h3/a").extract())
    total_lists = int(othr_lngs) + int(last_page_listings[0]))
return total_lists

def manp(self, response):
    return len(response.xpath('//h3/a/@href').extract())

我希望得到包含最后一页的总列表的变量,这样我就可以将它添加到其他页的总列表中


Tags: selfurl列表lenresponsedefpage页面

热门问题