用JavaScript Do Postb实现Python网页抓取

Question

我一直在努力：

1. 转到： mdoe.state.mi.us/moecs/PublicCredentialSearch.aspx

2. 输入证书编号（为了便于说明，您可以搜索“Davidson”作为姓氏）。

3. 点击“专业教学证书”对应的链接。

4. 复制并粘贴结果表。

问题似乎出在JavaScript doPostBack（）部分，因为它需要渲染才能获得数据。在

查看源代码时，请参见href部分如何标识这样的单个链接？（对于第六个链路）：

href="javascript:__doPostBack('ctl00$ContentPlaceHolder1$gViewCredentialSearchList$ctl07$link1','')

从这里：

^{pr2}$

我正在寻找一种方法（通过Python）将我需要的数据放入一个表中，给定一个证书编号和证书名称（即“专业教学证书”）。在

我尝试过使用PyQt4来遵循教程，但是单独安装它是很痛苦的。在

提前谢谢！在

Answer 1

您可以在浏览器（如Chrome）中打开页面并研究页面与服务器之间的交互是如何完成的，通常这些信息可以在Developer tool的“网络”选项卡中看到，这样您就可以使用requests库来构造一个python脚本来完成这些步骤

或者

您可以使用selenium-python来模拟您的浏览器交互（包括javascript调用），直到您到达感兴趣的数据所属的页面为止。在