如何在Python中完成呈现后抓取网页的HTML内容

Question

我目前的任务是搜集热门笑话网站。一个例子是一个名为jokes.cc.com的网站。如果您访问该网站，将光标悬停在页面左侧的“获取随机笑话”按钮上方，您会注意到它重定向到的链接将是jokes.cc.com/#。在

如果你等一段时间，它会变为网站内显示真正笑话的适当链接。它变为jokes.cc.com/*legit joke link*。在

如果您分析页面的HTML，您会注意到有一个链接（<a>），它的class=random_link的<href>存储了页面想要重定向给您的随机笑话的链接。您可以在页面完全加载后检查。基本上，“#”被合法链接取代。在

现在，这里是我的代码，用于删除HTML，就像我在静态网站上所做的那样。{cd6>已使用^库：

import urllib
from bs4 import BeautifulSoup

urlToRead = "http://jokes.cc.com";
handle = urllib.urlopen(urlToRead)
htmlGunk =  handle.read()
soup = BeautifulSoup(htmlGunk, "html.parser")
# Find out the exact position of the joke in the page
print soup.findAll('a', {'class':'random_link'})[0]

Output: #

这是预期的输出，因为我意识到页面还没有完全呈现。在

在等待一段时间后，或者在呈现完成之后，我如何刮取页面。我是否需要使用外部库，如Mechanize？我不知道该怎么做，所以任何帮助/指导我都很感激

编辑：我终于能够通过在Python中使用PhantomJS和Selenium来解决我的问题。下面是在呈现完成后获取页面的代码。在

^{pr2}$

Answer 1

您需要的数据是由JavaScript在页面加载时动态运行生成的。beauthoulsoup没有JavaScript引擎，所以不管你等待多长时间，链接永远不会改变。有一些Python库可以抓取并理解JavaScript，但最好的办法可能是挖掘并找出网站上JS的实际工作方式。例如，如果他们有一个随机笑话的笑话数据源，那么它可能是Python可以非常容易地解析的JSON格式。这将使您的应用程序比包含完全成熟的脚本引擎更轻量级。在