KafkaOffsetMonitor: Unable to find Active Consumers

善鬼 发表于: 2019-04-26   最后更新时间: 2019-04-27 00:18:36   3,847 游览

提问说明

Kafka 版本是2.11

KafkaOffsetMonitor启动脚本:

java -cp /usr/local/KafkaOffsetMonitor/KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --offsetStorage zookeeper --zk IP:2181 --port 9595 --refresh 6.seconds --retain 2.days

结果Consumer group 空白。可以获取到topic list,但是每个topic下面显示Unable to find Active Consumers

发表于 2019-04-26
添加评论

我也遇到了这个问题 kafka 2.2.1版本 启动命令是 java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --offsetStorage kafka --zk 192.168.5.148:2181 --port 9000 --refresh 10.seconds --retain 1.days
不知道什么原因

如果没有消费者,第一次就会空的。

善鬼 -> 半兽人 5年前

我一直有个消费者在正常的消费

大佬,解决问题了吗、我也遇到了。。。

--offsetStorage kafka 改成这个。

善鬼 -> 半兽人 5年前

不好意思,我填写的是--offsetStorage kafka 为了试验多种情况才改成zookeeper的。

善鬼 -> 半兽人 5年前

而且我的日志中,只有一句serving resources from: jar:file:/usr/local/KafkaOffsetMonitor/KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar!/offsetapp 没有报错

半兽人 -> 善鬼 5年前

改成kafka还不行吗?

善鬼 -> 半兽人 5年前

是的,一开始就是kafka

半兽人 -> 善鬼 5年前

先用命令试试。

## 新消费者列表查询(支持0.9版本+)
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --list

## 显示某个消费组的消费详情(支持0.9版本+)
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --describe --group test-consumer-group
善鬼 -> 半兽人 5年前

第一个命令显示我又一个消费者 test-consumer-group
第二个命令显示了topic的信息

TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                     HOST            CLIENT-ID
defaultKJLog    0          44440           44440           0               consumer-1-1f4eefca-0a16-477f-8230-b8cc07ca970f /58.251.50.XX  consumer-1
defaultKJLog    1          62994620        62994620        0               consumer-1-1f4eefca-0a16-477f-8230-b8cc07ca970f /58.251.50.XX  consumer-1
defaultKJLog    2          314             314             0               consumer-1-1f4eefca-0a16-477f-8230-b8cc07ca970f /58.251.50.XX  consumer-1
defaultKJLog    3          87              87              0               consumer-1-1f4eefca-0a16-477f-8230-b8cc07ca970f /58.251.50.XX  consumer-1
善鬼 -> 善鬼 5年前

而且我运行完KafkaOffsetMonitor的启动脚本后,只有两行日志就再没有了
serving resources from: jar:file:/usr/local/server/KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar!/offsetapp
2019-05-05 07:43:36 WARN AppInfo$:83 - Can't read Kafka version from MANIFEST.MF. Possible cause: java.lang.NullPointerException

半兽人 -> 善鬼 5年前

logs里有其他错误日志吗

善鬼 -> 善鬼 5年前

我KafkaOffsetMonitor运行的机器和Kafka运行的机器隔了网络,只开放了2181和9092端口,中间还有其他的端口么 ?刚刚执行了你的两个命令后。本地的KafkaOffsetMonitor已经正常,但是隔网络的KafkaOffsetMonitor依旧是Unable to find Active Consumers

善鬼 -> 半兽人 5年前

没有其他的 错误日志了

半兽人 -> 善鬼 5年前

隔网络的只要kafka之间互通 就没问题。你主动运行一条消费者,在观察下。刚启动的时候,如果没有消费者运行,就不会展示。

善鬼 -> 半兽人 5年前

我刚刚模拟了生产和消费的过程,隔网络的还是不行。

半兽人 -> 善鬼 5年前

https://www.orchome.com/454
在命令大全里找下,生产和消费选择0.9版本的方式。

半兽人 -> 善鬼 5年前

只要网络互通,放哪是没问题的。

半兽人 -> 善鬼 5年前

你是参考的这个吧:https://www.orchome.com/54

善鬼 -> 半兽人 5年前

是的

善鬼 -> 善鬼 5年前

我测试了很多次,过网络就是不行,本地的是可以的 。

善鬼 -> 善鬼 5年前

会是因为网络超时或者什么原因么?

善鬼 -> 善鬼 5年前

我这里网络隔离限制较严,除了kafka和zookeeper的端口,其他的端口 都封死了

半兽人 -> 善鬼 5年前

只要monitor机器上,与kafka所有节点网络正常,那就没问题。

你的答案

查看kafka相关的其他问题或提一个您自己的问题