为什么我用Scrapy shell得到一个空列表？

Question

该网站是“https://www.jbhifi.com.au/collections/laptops”。我正在尝试抓取href以进入“下一页”

但为什么scrapy shell返回一个空列表？我使用的语句是：

response.css("li.ais-pagination--item ais-pagination--item__next a").xpath("@href")

请告诉我如何用刮刀刮这个。我怀疑这是因为类以“ais”开头（但不知道它为什么会导致问题）。这在过去发生在我身上。有什么解决办法吗？干杯

Answer 1

需要了解的是，如果仅基于inspect元素提取选择器，则它不会以这种方式工作。您需要检查页面源代码，确定页面加载时实际出现的内容。在检查时，我们能够看到所有要求页面更新的内容。在您的例子中，在page sourceais-pagination item__next中没有这样的类。您必须跟踪网络，在点击下一页按钮时检查哪个呼叫被点击，并破解正在实现的逻辑