使用Python解析脚本生成的网页上的表

Question

我正试图从https://www.bop.gov/coronavirus/上的表中获取数据。但是，当第一次访问页面时，表隐藏在一个链接（https://www.bop.gov/coronavirus/#）后面，该链接指向同一页面，但扩展页面上的隐藏表。但是，我无法在网页的源代码中找到此链接，也无法使用selenium来扩展表并获取其数据。如何使用python访问此表中的数据

Answer 1

在开发人员工具的网络选项卡下可以找到在页面上加载数据的端点。您需要的数据是从中加载的

• https://www.bop.gov/coronavirus/json/final.json

您可能还想看看

• https://www.bop.gov/coronavirus/data/locations.json

因为第一个链接只包含名称的短代码

Answer 2

表数据在div和id="totals_breakdown"下随时可用

您可以直接调用page_源并使用BeautifulSoup解析该元素的数据，而无需“显示”该元素

如果出于某种原因必须显示该元素，则只需使用id="totals_breakdown"从div中删除类closed