基于Python的无头Selenium浏览器数据提取

Question

我正试图通过Python找到一种从带有无头浏览器的网站中提取GA数据层对象的方法，因此，我按照here中的说明进行操作 还有。。。在

from selenium import webdriver

driver = webdriver.PhantomJS()
driver.get("http://www.example.com/")
# DL = currentURL.dataLayer 
# Do something with DL

我在这里要找的关键字是什么？driver.something应该给我数据层对象。提醒一下：dataLayer对象是一个javascript对象。在

Answer 1

根据我的理解，dataLayer是一个全局变量，所以使用^{}：

driver.execute_script("return dataLayer;")

请注意，在执行脚本之前，您可能需要explicitly wait才能加载页面。在

或者，至少增加page load timeout：

^{pr2}$