用firebug在python中抓取一个网站？

Question

我正在尝试抓取一个网站，但我想得到的东西不是在源代码。但当我用萤火虫的时候会出现。有没有一种方法可以从firebug代码中提取而不是源代码？在

Answer 1

您所追求的可能是通过JavaScript（可能是使用Ajax）动态加载的。要在浏览器外以编程方式获取它，必须呈现JavaScript，这并不容易。不过，您应该能够在渲染后运行Greasemonkey脚本来擦除它。见http://blog.nparashuram.com/2009/08/screen-scraping-with-javascript-firebug.html。在

Answer 2

如果答案不在源代码中（可能是模糊处理、编码等），那么它可能是在页面加载了XmlHTTPRequest之后检索的。您可以使用Firebug中的“网络”面板来查看页面加载的其他数据片段，以及加载它们的请求。在

（您可能需要启用网络面板，然后重新加载页面/重新开始）