使用kafka 0.8.2.0跟踪主题大小和用户延迟

Question

自从kafka0.8.2.0以来，追踪消费者的滞后和话题的大小似乎变得非常困难

你如何跟踪卡夫卡的偏移量（主题大小）和滞后？您是否在生产者插入消息时在某处增加一个计数器，而在消费者确认消息时增加另一个计数器？在

{1{1}你为什么总是用这些度量来做呢？在

我们的消费者和生产者是用python编写的，使用kafka-python，他们声明他们不支持ConsumerCoordinator偏移API，所以我设计了一个解决方案，查询zookeeper并将这些指标发送到statsd实例（看起来很尴尬），但我仍然缺少主题大小度量。在

我们使用collectd来收集系统指标，我没有JMX的经验，在collectd中配置它似乎很复杂，我尝试了几次，所以我找到了一些方法来避免它。在

如果你有任何输入，我很乐意听到，即使是：“这属于x stackexchange网站”

Answer 1

如果我没听错，你可以用FetchResponse中的HighwaterMarkOffset。这样您就可以知道分区末尾的偏移量是多少，并可以将其与当前确认的偏移量或此FetchResponse中最后一条消息的偏移量进行比较。在

详细信息here