我试着在下面的网站上使用scrapy spider进行搔痒
scrapy genspider netweather_belfast https://www.netweather.tv/weather-forecasts/uk/10-day/2521~Belfast
当我检查元素的文本显示温度时,我尝试了下面的Xpath
//td[@id="mi1"]/text()
html element displaying above temperature xpath
我收到的输出
[<Selector xpath='//td[@id="mi1"]/text()' data='\xa0'>]
而不是
[<Selector xpath='//td[@id="mi1"]/text()' data='6°C'>]
是否存在编码问题?如何在scrapy上启用它
事实上,数据是由javascript动态加载的,这就是为什么不能仅使用scrapy获取实际数据的原因。你需要一个自动化工具,比如selenium。在这里,我使用硒与刮痧
示例代码:
输出:(因为是温度,所以输出可能与我的不同)
相关问题 更多 >
编程相关推荐