关于如何从雅虎财经获取硬数据,有很多好的问题和答案。我的具体目标是在雅虎财经的每个股票页面的“对话”部分,人们在那里发表他们对股票的看法。我对网页抓取非常陌生,到目前为止,我一直在使用python请求库和正则表达式来抓取普通文本。但雅虎财务对话无法使用Chrome中的“开发者”工具定位。因此,我在这里请求您提供以下帮助:
谢谢你提醒我,我应该包括我的初始代码。我从这里借用了代码:Scraping yahoo finance comments in python with Selenium,并尝试了以下方法:
from selenium import webdriver
driver = webdriver.Chrome("/Users/...pathto.../chromedriver")
driver.get("https://finance.yahoo.com/quote/AAPL/community/")
timeout=10
comments = driver.find_elements_by_xpath("//div[@class='C($c-fuji-grey-l) Mb(2px) Fz(14px) Lh(20px)']")
coments = [x.text for x in comments]
print(len(coments))
print(coments)
问题是我找不到包含这些帖子的元素的路径。也许雅虎金融改变了他们的模式。所以应该是这部分不起作用:
comments = driver.find_elements_by_xpath("//div[@class='C($c-fuji-grey-l) Mb(2px) Fz(14px) Lh(20px)']")
更新: 以下是我尝试查找包含帖子的元素时的快照: Keyboard focusable dimmed 我猜网站不希望人们找到特定的元素
目前没有回答
相关问题 更多 >
编程相关推荐