使用xpath和scrapy提取图像

Question

我一直在尝试从这个网站获取图像https://www.milieuproperties.com/For-Sale/western-cape/durbanville/，我在获取该房产的所有图像时遇到问题；更具体地说，提取图像的URL

这就是我现在的代码，但我总是得到一个空数组：

images = response.xpath('//*[@class="slick-track"]/div/img/@src').getall()

有没有关于我可能做错了什么的建议？提前谢谢你

Answer 1

正如mdaniel所说，当呈现页面时，您使用的xpath可以工作，但scrapy无法看到它。您可以使用scrapy shell "$URL"和执行view(response)检查scrapy看到了什么。 您还可以在页面源代码中查找图像URL。下面的xpath似乎可以做到这一点：

images = response.xpath('//*[@class="MyImage"]//*[has-class("slider-nav")]//@src').extract()