我正试图从这个网页上抓取数据:marine traffic
我确实尝试了python和Selenium中的正常抓取,但我无法找出任何目标数据。(纬度/经度/速度)
有没有我缺少的特殊格式
这是我开始使用的代码
from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('--ignore-certificate-errors')
options.add_argument('--incognito')
options.add_argument('--headless')
driver = webdriver.Chrome("C:/webdrivers/chromedriver.exe", options=options)
page = driver.page_source
但是通过使用CTRL+F对文本进行简单搜索,我找不到任何令人满意的结果
你知道怎么把它刮下来吗
谢谢
首先,要在无头模式下使用Selenium,必须定义屏幕大小
要获得坐标和速度,可以使用以下命令:
此外,由于您使用的是无头模式,这些设置可能有用
没有什么东西
示例代码:
导入:
输出:
如果您在浏览器中查看页面,并记录浏览器的网络流量,您会注意到对各种API端点发出了一些XHR HTTP GET请求,这些请求的响应是JSON并包含您要查找的信息。您所要做的就是模仿这些请求-无需BeautifulSoup或Selenium:
输出:
相关问题 更多 >
编程相关推荐