使用scrapy从无限滚动页面中删除数据？

Question

向下滚动时的响应url为：

https://dir.dummymart.com/impcat/next?mcatId=20467&prod_serv=P&mcatName=laser-cutting-machines&srt=97&end=116&ims_flag=&cityID=&fcilp=0&pr=0&pg=5&frsc=28

响应数据在ajax中如下所示：

{"page_var":"<div id=\"page_variables................

我的蜘蛛代码是：

^{pr2}$

如何删除页面向下滚动后加载的数据？数据也是用ajax而不是json。谢谢

Answer 1

你可以分两步接近方法：- 1使用Selenium这样的无头浏览器，或者如果您正在Scrapy中工作，那么您也可以尝试Splash，它允许您通过Scrapy运行js函数。 2只需将页面滚动到您希望删除数据的位置，以HTML格式下载该页面，然后运行正常代码。在

第二种方法是手工操作，但是如果你想删掉几页，我建议你只使用后一种。在