Python使用urllib2检索动态内容

Question

我正在尝试将youtube链接嵌入网页中。当我使用urllib2检索页面时，在响应中看不到链接。我认为嵌入的视频是由页面上的脚本检索的，当我使用浏览器时，该脚本会被加载。如何使用python的urllib2获得相同的结果？在

示例网页是http://busymovies.appspot.com/News.html?id=2965032

Answer 1

要提取动态生成（使用javascript）的内容，可以使用selenium：

#!/usr/bin/env python
from contextlib import closing
from selenium.webdriver import Firefox # pip install selenium

url = "http://busymovies.appspot.com/News.html?id=2965032"

# use firefox to get page with javascript generated content
with closing(Firefox()) as browser:
    browser.get(url)
    link = browser.find_element_by_link_text("Direct Link")
    print link.get_attribute("href")

输出

^{pr2}$

Answer 2

在视频的正下方有一个叫做“直接链接”的链接。现在如果你打开源代码，你会看到它的结构。在

您需要做的就是用id=directlink解析到这个节点的HTML&get。你可以用BeautifulSoup来做这个。你们都准备好了。。。在