pythonurllib2在所有脚本运行后读取页面

Question

我试图用urllib2读取页面，以便从页面中提取数据。页面的一部分是每次加载时生成的，当我用urllib2读取url时，这个部分不在我得到的html中。在

url是http://nametrends.net/name.php?name=Ruby，我试图获取为该图生成的表。 例如：

<div aria-label="A tabular representation of the data in the chart." style="position: absolute; left: -10000px; top: auto; width: 1px; height: 1px; overflow: hidden;">
        <table>
            <tbody>
            <tr><td>Sat Feb 01 1947 00:00:00 GMT-0500 (EST)</td><td>0.048</td><td>0</td></tr>
            </tbody>
         </table>
</div>

我目前的代码是：

^{pr2}$

它找不到该表，并且在带有文本表格的html中没有div（它是包含该表的div的标签）

Answer 1

该表由附加的XHR请求返回给getfrequencyjson.php端点的数据填充。您需要在代码中发出该请求并解析JSON数据：

import requests

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.99 Safari/537.36'}

with requests.Session() as session:
    session.headers = headers
    session.get('http://nametrends.net/name.php', params={'name': 'ruby'}, headers=headers)

    response = session.get('http://nametrends.net/chartdata/getfrequencyjson.php', params={'name': 'ruby'})
    results = response.json()
    print results