在Python中获取脚本标记内的变量数据或从js中添加的内容

Question

我想从另一个url获取数据，我使用的是urllib和Beautiful Soup，我的数据在table标记中（我已经用Firefox控制台找到了）。但是当我试图使用他的id获取表时，结果是None，那么我想这个表必须通过一些js代码动态添加。

我已经尝试了所有这两个解析器，但仍然无法获取表数据。

我还试过一件事：

web = urllib.urlopen("my url")
html = web.read()
soup = BeautifulSoup(html, 'lxml')
js  = soup.find("script")
ss = js.prettify()
print ss

结果：

<script type="text/javascript">
 myPage = 'ETFs';
        sectionId = 'liQuotes'; //section tab
        breadCrumbId = 'qQuotes'; //page
        is_dartSite = "quotes";
        is_dartZone = "news";
        propVar = "ETFs";
</script>

但现在我不知道如何获取这些js变量的数据。

现在我有两个选项，要么获取表内容，要么获取js变量，其中任何一个都可以完成我的任务，但不幸的是，我不知道如何获取这些变量，所以请告诉我如何才能解决任何一个问题。

谢谢

Answer 1

只需添加到@mhawke的答案中，而不是硬编码脚本标记的偏移量，您可以循环遍历所有脚本标记并匹配与您的模式匹配的脚本标记

web = urllib.urlopen("http://www.nasdaq.com/quotes/nasdaq-financial-100-stocks.aspx")
pattern = re.compile('var table_body = (.*?);')

soup = BeautifulSoup(web.read(), "lxml")
scripts = soup.find_all('script')
for script in scripts:
   if(pattern.match(str(script.string))):
       data = pattern.match(script.string)
       stock = json.loads(data.groups()[0])
       print stock