R中的kafka消费者

Question

我想用Python或R（最好是R）来破解一个kafka消费者。 使用kafka控制台消费者，我可以grep获取一个字符串并检索相关数据，但是当涉及到在R中适当地解析它时，我就不知所措了

还有其他语言的kafka客户机（例如：PHP、CPP），但从数据分析的角度来看，R中的一个可能会有所帮助。在

如果这个论坛上的专家R开发者能够提示/建议一些资源，让我在这个方向上取得进展，那就太好了。在

阿帕奇·卡夫卡：孵化器.apache.org/kafka/在

卡夫卡消费者客户：https://github.com/kafka-dev/kafka/tree/master/clients

Answer 1

【2015年更新】有一个库可以让你连接到卡夫卡-rkafka

http://cran.r-project.org/web/packages/rkafka/rkafka.pdf

Answer 2

因为有一个C++ API for Kafka，所以可以使用Rcpp将其带到R

编辑回应对R-only解决方案的评论：我不太了解Kafka，不足以回答，但一般来说，中间件运行速度很快，连接多个客户端、流等。因此，您可以简化一些事情，让R（单线程）发挥作用。在