是否可以使用python从交互式JS图中提取数据？

Question

我想知道是否有可能从一个交互式JS图中提取，如下图所示： https://www.eurocontrol.int/Economics/DailyTrafficVariation-States.html

这里的一个问题是，为了获得所需的数据，我必须首先在第一个表上选择一个灰色条，以便生成所需的第二个表，如图所示：

Daily Air Traffic first table generates second table with needed percent data

还只想提取四个国家显示的百分比

我尝试了一些python包，但它们对于交互式JS图并没有那么有效。大多数似乎只适用于维基百科上的静态表。BeautifulSoup、Pandas、Requests和Selenium我尝试并检查了该网页以查看其xhr数据，并尝试查找是否附加了csv文件。没有人捕获交互式JS图以提取其数据

可能吗？我可以把它下载到excel吗

谢谢

Answer 1

您必须使用能够呈现和执行javascript的工具。这基本上意味着一个网络浏览器。有几种可用的，一些基于Firefox，一些基于Chrome

考虑到你提供的链接，我认为谷歌的木偶演员（https://pptr.dev/）将允许你做你需要的事情

但在我看来，你低估了刮网站的复杂性。准备好克服许多困难，最重要的是你正在抓取的站点不喜欢抓取它的数据，并采取激烈的对策。这种方法可能只需要刮取几页，但几乎不需要大量数据