分布式twitter流媒体服务
traptor的Python项目详细描述
traptor是一个帮助管理twitter数据收集的框架。与许多其他twitter库不同的是,traptor它使用twitter流api根据规则集对数据进行real-time distributed streaming。
它使用了Kafka、Redis和优秀的birdy模块的组合。我们的目标是提供一种方便的方法,将所有twitter应用程序数据聚合到一个数据流和(可选)一个数据库中。它使用birdy建立twitter api连接,redis处理不同traptor实例之间的规则管理,kafka处理数据流。
有关文档和快速入门指南,请参见http://traptor.readthedocs.org。