使用Python中的Scrapy进行数据爬取

Question

我想帮助我的朋友分析社交网络（Facebook、Twitter、Linkdin等）以及一些博客和网站上的帖子。在

我有几个问题，试着把它们分类：

当谈到抓取数据时，我的想法是通过api在社交媒体上抓取数据，通过RSS或网站抓取使用Scrapy library。 我想知道Scrapy是否是最佳的，能在短时间内以最少的资源使用给我最好的结果？在

Answer 1

从技术上讲，Scrapy应该做得很好，只要你代码正确，从api中找到你需要的路径，或者通过分析站点的代码。在

但要注意，使用“自动方式”从这些网站抓取或抓取数据违反了他们各自的使用条款协议（虽然Twitter在这方面相当松懈）。这意味着，如果他们看到一堆来自你的IP地址的请求，并认为你可能是a.）使用机器人或B.）正在执行DOS攻击。。。他们会很快把你关起来，你可能会让狮子座来敲你的门。在

很多公司确实有办法获得许可，但我怀疑他们只允许任何人这么做。在