如何在python中将JavaScript HTML呈现为HTML？

Question

我环顾四周，只找到了将URL呈现为HTML的解决方案。但是，我需要一种方法来将网页（我已经有了，并且有JavaScript）呈现为适当的HTML。

想要： 网页（带JavaScript）-->；HTML

不是：URL-->；网页（带JavaScript）-->；HTML

我不知道如何使其他代码按我想要的方式工作。

这是我用来呈现URL的代码： http://webscraping.com/blog/Scraping-JavaScript-webpages-with-webkit/

为了清楚起见，上面的代码获取了一个网页的URL，该网页的某些部分由JavaScript呈现，因此如果我通常使用say urllib2来刮除该网页，那么我将无法获得JavaScript之后呈现的所有链接等。

不过，我希望能够刮掉一个页面，再次使用urllib2，然后呈现该页面并获得结果HTML。（与上面的代码不同，因为它以URL作为参数。

谢谢你们的帮助：）

Answer 1

您可以从命令行pip install selenium，然后运行类似于：

from selenium import webdriver
from urllib2 import urlopen

url = 'http://www.google.com'
file_name = 'C:/Users/Desktop/test.txt'

conn = urlopen(url)
data = conn.read()
conn.close()

file = open(file_name,'wt')
file.write(data)
file.close()

browser = webdriver.Firefox()
browser.get('file:///'+file_name)
html = browser.page_source
browser.quit()

Answer 2

尝试webdriver.Firefox（）.get（'url'）