如何通过Python中的网页抓取隐藏在“全部显示”之外的完整表
回答此问题可获得 20 贡献值，回答如果被采纳可获得 50 分。
<p>根据我在<a href="https://stackoverflow.com/questions/67144542/while-web-scraping-for-a-table-in-python-an-empty-table-is-returned/67144576#67144576">previous question</a>中找到的回复，我可以通过web<strong>从URL:<code>https://www.nytimes.com/interactive/2021/world/covid-vaccinations-tracker.html</code>抓取Python中的表，但它只抓取部分，直到出现“Show all”行</p>
<p>我如何用Python获取隐藏在“全部显示”之外的完整表</p>
<p>以下是我正在使用的代码：</p>
<pre><code>import pandas as pd
import requests
from bs4 import BeautifulSoup
#
vaccineDF = pd.read_html('https://www.nytimes.com/interactive/2021/world/covid-vaccinations-tracker.html')[0]
vaccineDF = vaccineDF.reset_index(drop=True)
print(vaccineDF.head(100))
</code></pre>
<p>输出仅获取15行（直到全部显示）：</p>
<pre><code> Unnamed: 0_level_0 Doses administered ... Unnamed: 8_level_0 Unnamed: 9_level_0
Unnamed: 0_level_1 Per 100 people ... Unnamed: 8_level_1 Unnamed: 9_level_1
0 World 11 ... NaN NaN
1 Israel 116 ... NaN NaN
2 Seychelles 116 ... NaN NaN
3 U.A.E. 99 ... NaN NaN
4 Chile 69 ... NaN NaN
5 Bahrain 66 ... NaN NaN
6 Bhutan 63 ... NaN NaN
7 U.K. 62 ... NaN NaN
8 United States 61 ... NaN NaN
9 San Marino 60 ... NaN NaN
10 Maldives 59 ... NaN NaN
11 Malta 55 ... NaN NaN
12 Monaco 53 ... NaN NaN
13 Hungary 45 ... NaN NaN
14 Serbia 44 ... NaN NaN
15 Show all Show all ... Show all Show all
</code></pre>
<p>下面是部分表格的屏幕截图，直到在web（左侧部分）和相应的检查元素（右侧部分）中显示“全部”：
<a href="https://i.stack.imgur.com/JQjJw.png" rel="nofollow noreferrer"><img src="https://i.stack.imgur.com/JQjJw.png" alt="enter image description here"/></a></p>
请先 登录 后评论
针对此问题: 更多的回答
- 89 关注
- 1 收藏，216 浏览
- 网友 提问于 2天前
相关Python问题
- 如何在乒乓球比赛中预测球的轨迹，对于AI球拍预测？ 4 回答
- 如何在乒乓球游戏中阻止球 10 回答
- 如何在乘法和模中不乘空间？ 10 回答
- 如何在乘法和除以2个不同的数字之间进行交换？ 4 回答
- 如何在也是数据一部分的单个字符上拆分大字符串 3 回答
- 如何在乾草堆中找到針，有更好的解決方案嗎？ 1 回答
- 如何在事件wxWidgets中传递自定义数据 6 回答
- 如何在事件中使用lambda i=i？ 8 回答
- 如何在事件中心只接收最近的数据 7 回答
- 如何在事件发生之前保持云函数运行？ 8 回答
- 如何在事件发生后使页面重定向到同一页面 5 回答
- 如何在事件回调之间保持python生成器的状态 7 回答
- 如何在事件处理程序（pythonsocket、sphinx）中保留docstring 2 回答
- 如何在事件处理程序中更改wxRichTextCtrl的光标位置？ 8 回答
- 如何在事件处理程序中访问外部对象？ 2 回答
- 如何在事件循环中将协程打包为正常函数？ 7 回答
- 如何在事件循环之外运行协同程序？ 2 回答
- 如何在事件循环结束时为并发未来的所有线程调用类方法？ 7 回答
- 如何在事件文件中只保留一份摘要？ 10 回答
- 如何在事件模板中添加事件 8 回答
