如何抓取不是直接用HTML编写，而是用JavaScript自动生成的网页？

Question

我正试图从http://washingtonmonthly.com/college_guide?ranking=2016-rankings-national-universities网站上搜刮。你知道吗

这个网站是用JavaScript自动生成来更新DOM树的，我尝试了下面的Selenium代码来获取表中的元素，但是它返回了一个空列表。你知道吗

from selenium import webdriver
import time


driver = webdriver.Chrome(executable_path="C:\\chrme\\chromedriver")
driver.get('http://washingtonmonthly.com/college_guide?ranking=best-colleges-for-adult-learners-4-year-colleges')
time.sleep(5)
test = driver.execute_script("return document.getElementsByClassName('tablesaw tablesaw-swipe')")
print(test)

有没有办法运行这些脚本并获取HTML代码？我使用的是python3.6

Answer 1

首先，当我输入链接时，它说页面不存在。你知道吗

如果你想得到一个自动生成的页面，你必须使用chromedev工具，看看哪个请求正在执行代码。你知道吗

因此，如果您看到一个GET请求返回生成的html，您必须接受该请求并在代码中使用它。你知道吗

如果对你有帮助就告诉我。你知道吗