使用Python使用Javascript进行网页抓取

Question

我正在尝试使用Python抓取一个url列表的web页面。我可以使用Python和beautiful soup毫无问题地抓取第一个页面，但是如果url列表很长，则使用以下JavaScript在第二个页面上继续。在

href=“javascript:\uuDoPostback（'WQResultGridView'，'Page$2'）

我不知道怎么到第二页。在

Answer 1

我想这个调用会被转换成一个http（顾名思义，post）请求。在

查看firebug的“net”选项卡，了解请求的结构，并使用python运行相同的请求。在

另一种更通用的方法是加载页面并使用http://phantomjs.org/之类的工具运行它所包含的javascript