Python网页爬取和存储到MySQL

Question

我需要一个好的用Python编写的web爬虫来将完整的页面存储到mysql数据库中。我正在试验的小系统现在使用phpsphider抓取并存储到数据库中。我需要一个工作方式几乎完全像sphider，但用Python编写的东西。所以只需将数据库存储到表中，从其他脚本获取内容并完成我需要的其余工作。斯菲德速度慢，想换掉它。在

所以，我看了scrapy和其他一些项目，但是任何东西都不能满足我的需要，这是我开始编写代码之前的最后一次尝试，所以如果有人知道什么可以解决我这个问题，请告诉我。在

Answer 1

小心！

这个答案是为初学者量身打造的，它不是最优的，也不是最聪明的。在

但我强烈推荐你。 试试教程。 记住使用Firefox+Firebug扩展来导航并学习数据的内部路径，xpath和html位置，以便后验解析器使用。在

检查类似的答案“Going from Ruby to Python crawlers”和“Python read my outlook email mailbox and parse messages”

节省您的时间并使用FireBug扩展的Firefox（启用inspect）