不久前我写了一个简单的scraper,它打开chrome浏览器并从网站上获取一些数据。但是现在每次我运行该脚本时,它不会打开我提供的url,而是重定向到GDPR同意网站。我从选项中删除了——隐姓埋名模式,但它还是一样的。chrome打开后脚本崩溃,因为它被自动重定向到GDPR同意网页。 我该如何回避这个问题?在
下面是重现错误的代码。在
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
option = webdriver.ChromeOptions()
#option.add_argument("--incognito")
browser = webdriver.Chrome(executable_path='chromedriverpath', chrome_options=option)
rval=[]
browser.get("https://finance.yahoo.com/quote/AAPL/key-statistics?p=AAPL")
timeout = 10
WebDriverWait(browser, timeout)
values_element = browser.find_elements_by_xpath("//td[@class='Fz(s) Fw(500) Ta(end)']")
print(browser)
values = [x.text for x in values_element]
rval.append(values[8])
for title, value in zip(stockname, rval):
print(title + ': ' + value)
evdict=dict(zip(stockname, rval))
为了绕过这样的弹出窗口,阻止selenium从我需要添加的数据中获取数据:
它会为我点击合适的按钮并关闭窗口。这样硒就可以正常工作了。在
相关问题 更多 >
编程相关推荐