用Python和Selenium实现JavaScript动态生成html

Question

我目前在这方面遇到了动态生成html代码的问题：

http://www.economia-sniim.gob.mx/Nuevo/Home.aspx?opcion=Consultas/MercadosNacionales/PreciosDeMercado/Agricolas/ConsultaFrutasYHortalizas.aspx?SubOpcion=4|0

我想在网站上选择“Origen”和“Date”选项，但我没有所有的HTML代码。你知道吗

有人能给我一个提示，如何废弃所有动态生成的html代码？你知道吗

谢谢你

Answer 1

selenium的优点是，您可以从程序中启动浏览器会话，并在javascript中启用事件（如本例中的scroll）

In [8]: from bs4 import BeautifulSoup

In [9]: from selenium import webdriver

In [10]: driver = webdriver.Firefox()

In [11]: driver.get('http://cavemendev.com')

In [12]: html = driver.page_source

In [13]: soup = BeautifulSoup(html)

In [14]: driver.execute_script("window.scrollTo(0, Y)")

In [15]: for tag in soup.find_all('title'):
   ....:     print tag.text

如果说不通的话就告诉我