Kafka consumer group 无法删除 Group 'xx' could not be deleted due to: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.GroupNotEmptyException: The group is not empty

发表于: 2022-11-25   最后更新时间: 2022-11-25 07:00:10   284 游览

Kafka Version:2.8.0

Kafka delete consumer "**test-consumer-group**",but the current state is Stable

上述报错,但是通过kafka-consumer-group.sh --all-groups/--members/--state查看数据存在前后不一致;

kafka all-groups

kafka members

kafka all-state

  1. 已经尝试过将Kafka集群3个节点,整体重启;
  2. 已排查client端无业务代码调用;

诉求:

1、如何将test-consumer-group进行删除,如何进行排查;
2、为什么通过kafka-consumer-group.sh获取的数据,存在前后不一致;

发表于 2022-11-25
添加评论

你的消费者组还被占用,所以无法删除成功。

bin/kafka-consumer-groups.sh --bootstrap-server xxx:9092 --describe --group test-consumer-group --state

COORDINATOR (ID)          ASSIGNMENT-STRATEGY       STATE                #MEMBERS
10.12.24.131:9092 (2)     range                     Stable            10

从你的截图分析:

  • --state命令,可以看到还有10个成员。

  • --members命令,可以看到成员的ip是10.12.9.184

所以是10.12.9.184这台机器还在占用这个组。

命令来自:kafka检查消费者位置

-> 半兽人 2月前

有两点疑问:

  1. 为什么通过kafka-consumer-group.sh --all-groups/--members/--state查看数据存在前后不一致,--all-groups是没有获取到对应的consumer信息的,--members反而有数据;

  2. --member -verbose中的assignment是空的,也是否意味着client-id是没有实际消费kafka的partitons的;

半兽人 -> 2月前

怀疑你现在的集群不健康。
你这个数据明显是不正常的,虽然有成员,但是其实都没有被分配消费。

-> 半兽人 2月前

1、数据显示异常,但Lag是处于波动状态,有消费;
2、集群重启后,该现象依旧存在,有没有什么好的办法可以强制删除该组吗。

半兽人 -> 2月前

你消费者还在,是无法强制删除的呀?既然你要删除这个组,得先把消费者全停了的。

你的答案

查看kafka相关的其他问题或提一个您自己的问题
提问