如何使用PythonMechanize解析动态更新的.jsp表单？

Question

我正在学习如何使用Python Mechanize来获取一些数据。在大多数情况下，它是有效的，但我遇到的一个问题是，我所查看的.jsp页面是动态更新的，而不是使用“提交”按钮。在

因此，我遇到了两个相关的问题：

1）我需要在页面上设置多个SelectControls。在设置第一个SelectControl之前，不会填充第二个SelectControl的项。如何在第一个SelectControl设置为所需值的情况下刷新页面（在“真实”浏览器窗口中，当我从第一个下拉列表中选择一个选项时，这会自动发生）。我尝试过使用browser对象的response（）和reload（）方法，但是这些方法会删除我分配给第一个SelectControl的值。在

2）当设置SelectControl控制值时，我要刮取的数据会动态出现。同样，我需要以某种方式刷新浏览器以反映这些值，但是没有submit按钮。在

Answer 1

Mechanize不处理javascript，您可以复制javascript的功能（例如找出可能的值并手动构建/选择它）。请参阅此答案以了解更多详细信息和可选解决方案How to properly use mechanize to scrape AJAX sites