如何在Python BeautifulSoup上高效地解析大型htmldivclass和span数据？

Question

所需数据：

我想浏览两个网页，一个在这里：https://finance.yahoo.com/quote/AAPL/balance-sheet?p=AAPL，另一个：https://finance.yahoo.com/quote/AAPL/financials?p=AAPL。 从第一页开始，我需要名为总资产的行的值。该行中有5个值，名为：365725000375319000 321686000 290479000 231839000 然后我需要5个名为总流动负债的行的值。这将是：43658000 38542000 2797000207220011506000 在第二个链接中，我需要10个名为营业收入或亏损的行的值。这将是：52503000 48999000 55241000 33790000 18385000。在

还需要编辑5年以上的值。谢谢。 这是我想要什么的逻辑。我想运行这个模块，当运行时，我希望输出是：

TTM array: 365725000, 116866000, 64423000
year1 array: 375319000, 100814000, 70898000
year2 array: 321686000, 79006000, 80610000

我的代码：

这是我迄今为止所写的。如果我把它放在下面的变量中，我可以把它放在类中。但是，如何有效地循环使用'div'类，因为页面中有数千个类。换句话说，我怎样才能找到我想要的价值观呢？在

^{pr2}$

Answer 1

编辑-应@Life的要求是复杂的，编辑后添加日期标题。在

使用lxml试试这个：

import requests
from lxml import html

url = 'https://finance.yahoo.com/quote/AAPL/balance-sheet?p=AAPL'
url2 = 'https://finance.yahoo.com/quote/AAPL/financials?p=AAPL'
page = requests.get(url)
page2 = requests.get(url2)


tree = html.fromstring(page.content)
tree2 = html.fromstring(page2.content)

total_assets = []
Total_Current_Liabilities = []
Operating_Income_or_Loss = []
heads = []


path = '//div[@class="rw-expnded"][@data-test="fin-row"][@data-reactid]'
data_path = '../../div/span/text()'
heads_path = '//div[contains(@class,"D(ib) Fw(b) Ta(end)")]/span/text()'

dats = [tree.xpath(path),tree2.xpath(path)]

for entry in dats:
    heads.append(entry[0].xpath(heads_path))
    for d in entry[0]:
        for s in d.xpath('//div[@title]'):
            if s.attrib['title'] == 'Total Assets':
                total_assets.append(s.xpath(data_path))
            if s.attrib['title'] == 'Total Current Liabilities':
                Total_Current_Liabilities.append(s.xpath(data_path))
            if s.attrib['title'] == 'Operating Income or Loss':
                Operating_Income_or_Loss.append(s.xpath(data_path))

del total_assets[0]
del Total_Current_Liabilities[0]
del Operating_Income_or_Loss[0]

print('Date   Total Assets Total_Current_Liabilities:')
for date,asset,current in zip(heads[0],total_assets[0],Total_Current_Liabilities[0]):    
         print(date, asset, current)
print('Operating Income or Loss:')
for head,income in zip(heads[1],Operating_Income_or_Loss[0]):
         print(head,income)

输出：

^{pr2}$

当然，如果需要，可以很容易地将其合并到pandas数据帧中。在