如何将日志从elk堆栈流式传输到python

Question

我有一个python中的kafka使用者来处理日志数据（stacktrace分析和自动问题创建），我们还并行使用elk堆栈。有没有可能通过elk将日志流式传输到python以摆脱卡夫卡？我没有在麋鹿方面的经验，也找不到任何关于它的信息流。似乎我每次只能查询一次日志数据，但这似乎不是一个完美的决定

Answer 1

不，您不能单独从Elasticsearch中流出数据

如果您的输入是其他内容，则可以使用Logstash的各种输出插件（或编写自己的插件），这些插件可以写入受支持的Python库

例如：pipe、tcp、websocket/http、exec插件都是通用的，可以与任何语言一起使用

然而，logstash不会像卡夫卡那样持续事件，所以如果你想要一些能够处理背压且不会中断事件的东西，你应该让卡夫卡留在身边