缺少BeautifulGroup html

Question

我正在尝试获取链接的url，以便在特定时间段内从Yahoo Finance下载资产的历史数据。1999年1月1日至今。在

例如，如果我去这里： https://finance.yahoo.com/quote/XLB/history?period1=915177600&period2=1498633200&interval=1d&filter=history&frequency=1d

我想获取（从数据表上方的“下载数据”链接）：

"https://query1.finance.yahoo.com/v7/finance/download/XLB?period1=915177600&period2=1498633200&interval=1d&events=history&crumb=iX6bJ6LfGxc"

我使用的是beauthoulsoup，遇到了保存href的必需标记在html中没有显示的问题。起初，我认为beauthoulsoup只是在尝试使用find_all（'a'）和遍历children/decentants而没有得到任何结果后，工作不正常。但是当我对html进行文本转储时，html元素（以及父元素中的其他元素）不在那里。 有人能解释一下发生了什么事吗？下面列出了我目前的工作。在

^{pr2}$

Answer 1

这个网站严重依赖Javascript。你在浏览器上看到的很多信息并不是在你第一次向网站发出的请求中出现的，而是通过随后Javascript发出附加请求而添加的。在

尝试使用他们的API，或者使用类似Selenium的东西来模拟web浏览器。在