我需要学习什么python库来抓取这个网站？

Question

我想从下面的网站下载所有周日纵横填字游戏。在

http://epaper.timesofindia.com/Default/Client.asp?skin=pastissues2&enter=LowLevel

我可以手动搜索“星期日纵横填字游戏”并得到我需要的所有结果。但是结果都是在javascript弹出窗口中打开的。在

http://epaper.timesofindia.com/Default/Scripting/SearchView.asp?skin=pastissues2&AppName=2&sPublication=TOIM&y=11&Content=ALL&sQuery=SUNDAY+CROSSWORD&sScope=P&x=13&ContentType=on&sSorting=IssueDateID%2Casc&sLanguage=en&Offset=1

我需要学习/使用什么python库来处理这样的问题？在

我知道urllib的基本原理。那能用于这个特殊的目的吗？在

我是一个相对较新的程序员，不太了解网络技术。所以任何关于阅读什么资源的建议都会很有帮助。在

Answer 1

硒是一个很好的工具使用。由于它驱动了一个真正的浏览器，它可以处理JavaScript弹出窗口。

下面是指向文档的链接：https://selenium-python.readthedocs.org/en/latest/getting-started.html

以及一些视频教程：

http://pyvideo.org/search?models=videos.video&q=selenium