使用普通Chrome或IE浏览器(非Chromedriver)进行Python抓取

2024-09-28 23:37:41 发布

您现在位置:Python中文网/ 问答频道 /正文

我使用的是Selenium和Chromdriver,它可以很好地加载站点,包括Javascript加载的数据。在

我的问题是一个普通的Chrome浏览器会随着时间的推移而更新,而Chromedriver会保存它发送的第一个静态数据。作为一个网络驱动程序,我在PhantomJS或firefox上没有比这更好的运气了。在

那么有没有必要使用普通的Chrome浏览器呢?甚至是IE?在

我知道理论上,我可以让它加载一个Chrome浏览器,然后观察网络流量,寻找我要找的数据,但这看起来很难看。在

我可以让它不断刷新页面,但这看起来并不整洁,意味着更多的带宽使用和加载时间。在

我不需要它是无头或有复杂的自动化。只需加载页面并让我读取更新的数据,而不是它第一次看到的任何内容。在

我知道自动热键支持这一点,这是我在这个阶段的退路。一个宏脚本,用于将数据转储到文件中供Python读取。在


Tags: 数据网络站点selenium驱动程序时间浏览器页面