为什么我的蜘蛛提取的物品数量有限

2024-10-08 22:31:17 发布

您现在位置:Python中文网/ 问答频道 /正文

例如,当我使用网站的https://en.zalando.de/men-shoes-boots/",只刮了37件。我知道需要某种类型的分页才能进入下一页,但在第一页上有远远超过37个项目,我似乎无法理解为什么脚本在37处停止

任何帮助都将不胜感激

我的蜘蛛元素的发现者如下所示:

class ZalandoSpider (scrapy.Spider):
    name = 'zalando'
    start_urls = [
        'https://en.zalando.de/men-shoes-boots/'
    ]

def parse(self,response):

    alle_elementen = response.css('.DvypSJ')
    print('length=' + str(len(alle_elementen)))

可能与无限滚动有关,但我已经查看网络页面2个多小时了,没有结果

提前谢谢


Tags: 项目https脚本类型网站responsedeen

热门问题