网页抓取动态内容

Question

我正在尝试使用pythonwindmill模块来抓取网页。但是当加载一个特定的网页时，它会不断地被线卡住：

clientele.waits.forElement(xpath=u"//body[@class='yellow']/table", timeout=30000)

收到的错误是

^{pr2}$

但当我尝试用一个单独的代码来抓取这个网页时，它是有效的。由于风车文件不充分，我无法确定错误的原因。在

有人能帮我找出错误或指出一个更好的模块，即一个更好的记录？在

Answer 1

三种流行的解决方案：

• BeautifulSoup（又快又脏）
• lxml
• Scrapy