请看这一页:
https://www.michaelkors.com/anorak-rainbow-swimsuit-belt-bag-the-michael-tote-dylan-sneaker/_/L-MSTR101163
几天前我在Stackoverflow上问了一个问题,有人建议我应该研究一下scrapy splash,以便获得推荐。有了splash,我可以抓取大部分JS,但是,我只能抓取页面底部的推荐。这就是我迄今为止所尝试的:
recommendations = response.xpath("//div[@class ='you-may-also-like-section']/a/@href").getall()
这不会有任何回报
您是否尝试过此选择器:
response.css('div.you-may-also-like-section div.product-tile-container a::attr(href)').extract()
另外,您可以尝试在Splash浏览器中设置等待时间
但如果您选中浏览器->;网络->;XHR,您将发现这个请求https://api.rfksrv.com/search-rec/263221008/3 您应该做的一切就是发出这样的请求,但是对于您的数据,它是从源页面获取的。我建议这样
在卷曲中看起来是这样的:
相关问题 更多 >
编程相关推荐