如何通过xpath获取元素

Question

我正在为这个网站设计一个使用python scrapy的刮板

https://www.kimovil.com/de/wo-kaufen-oneplus-2-3gb-16gb-cn

我已经提取了许多元素，但无法获得 手机的存储版本

通过检查元素，可以获得xpath，但当尝试调用scrapy shell时，返回：

[]

Answer 1

一些事实：

• 这是一个很大的网站，他们花了一些时间来开发，很可能使用了现代技术
• 它正在加载https://www.kimovil.com/build/app-js.227fce30.js，它的名称中有app，路径中有build

由此判断，他们使用某种JS前端框架，当scrapy到达网页时，DOM并不完整。您正在查找的数据正在加载，DOM将在生命周期的后期进行操作

您可以检查浏览器发出的请求，例如，其中一个请求是https://www.kimovil.com/_json/oneplus-2-3gb-16gb-cn_prices_deals.json

或者，您可以使用基于selenium或其他可以在页面上运行javascript的刮削框架