python中有没有一个函数可以帮助我获取网页中隐藏的html数据？

Question

我试图通过使用python中的请求库从纵横字谜中获取解决方案数据。我可以把已经在页面上给出的文本，但是当点击页面上的按钮时，谜题的答案就会出现。我试图达到解决方案的数据，因为我达到了其他数据，但解决方案是作为空文。我怎样才能找到谜题的答案

soup = BeautifulSoup(r.text, 'html.parser')
a = soup.find_all('svg', attrs={'class' : 'Board-svg--34be-'})
b = a[0].find_all('g', attrs={'data-group' : 'cells'})

我获取了以“b”表示的数据，并在spyder的变量资源管理器中检查它，其中解决方案数据应该是空的。然而，当我检查浏览器上的html代码时，应该有一个字母

Answer 1

您正试图通过一个简单的HTTP请求访问动态生成的数据（在本例中通过JavaScript）。这不适用于请求库。您将不得不研究更复杂的web抓取设置，这些设置也呈现JavaScript。这通常需要一个无头浏览器来呈现完整的DOM，包括JavaScript在尝试刮取DOM之前所做的修改

以https://github.com/miyakogi/pyppeteer为例