Selenium webdriver和GDPR consen

2024-06-30 13:23:46 发布

您现在位置:Python中文网/ 问答频道 /正文

不久前我写了一个简单的scraper,它打开chrome浏览器并从网站上获取一些数据。但是现在每次我运行该脚本时,它不会打开我提供的url,而是重定向到GDPR同意网站。我从选项中删除了——隐姓埋名模式,但它还是一样的。chrome打开后脚本崩溃,因为它被自动重定向到GDPR同意网页。 我该如何回避这个问题?在

下面是重现错误的代码。在

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
option = webdriver.ChromeOptions()
#option.add_argument("--incognito")
browser = webdriver.Chrome(executable_path='chromedriverpath', chrome_options=option)
rval=[]
browser.get("https://finance.yahoo.com/quote/AAPL/key-statistics?p=AAPL")
timeout = 10
WebDriverWait(browser, timeout)
values_element = browser.find_elements_by_xpath("//td[@class='Fz(s) Fw(500) Ta(end)']")
print(browser)
values = [x.text for x in values_element]
rval.append(values[8])

for title, value in zip(stockname, rval):
    print(title + ': ' + value)

evdict=dict(zip(stockname, rval))

Tags: fromimportbrowser脚本by网站seleniumcommon