在股票页面中删除雅虎财务对话

2024-09-28 19:32:53 发布

您现在位置:Python中文网/ 问答频道 /正文

关于如何从雅虎财经获取硬数据,有很多好的问题和答案。我的具体目标是在雅虎财经的每个股票页面的“对话”部分,人们在那里发表他们对股票的看法。我对网页抓取非常陌生,到目前为止,我一直在使用python请求库和正则表达式来抓取普通文本。但雅虎财务对话无法使用Chrome中的“开发者”工具定位。因此,我在这里请求您提供以下帮助:

  • 给定一只股票,将对话(全部)删掉
  • 还有每个对话帖子的元数据,如时间戳和喜欢的数量 任何帮助都将不胜感激! 这是我所说的部分的图像: Yahoo Finance Conversations

谢谢你提醒我,我应该包括我的初始代码。我从这里借用了代码:Scraping yahoo finance comments in python with Selenium,并尝试了以下方法:

from selenium import webdriver
driver = webdriver.Chrome("/Users/...pathto.../chromedriver")
driver.get("https://finance.yahoo.com/quote/AAPL/community/")
timeout=10
comments = driver.find_elements_by_xpath("//div[@class='C($c-fuji-grey-l) Mb(2px) Fz(14px) Lh(20px)']")
coments = [x.text for x in comments]
print(len(coments))
print(coments)

问题是我找不到包含这些帖子的元素的路径。也许雅虎金融改变了他们的模式。所以应该是这部分不起作用:

comments = driver.find_elements_by_xpath("//div[@class='C($c-fuji-grey-l) Mb(2px) Fz(14px) Lh(20px)']")

结果它将只返回一个空列表。谢谢你的帮助

更新: 以下是我尝试查找包含帖子的元素时的快照: Keyboard focusable dimmed 我猜网站不希望人们找到特定的元素


Tags: 数据代码in元素driverchrome对话comments