什么情况下kafka消费者组的状态会为dead死亡状态?如何避免?

幼稚、演绎我们仅有的青春 发表于: 2018-12-05   最后更新时间: 2018-12-05 22:02:57   6,396 游览

用的kafka0.9客户端,kafka消费者组信息配置到代码配置文件里。

kafka集群部署到三个服务器上,每个服务器分别部署一个kafka和zookeeper。 集群有五个topic,每个topic一个partition。五个消费者组,一个消费者组里面有一个消费者。

消费端注解用的是@KafkaListener

问题描述:

刚启动消费,消费没有问题。过两天突然不消费了,扒日志发现报错,消费者组已经处于dead状态了。本地重新启动消费的时候,没有报错但是一直不能消费 扒服务器日志报一个错误:

Group renewalGroup generation 1 is dead and removed

而且每次启动时间和报错时间相差30秒,一个session.timeout.ms的时间。

目前只能换一个其他消费者组才能重新消费

我之前的消费者组怎么能接着使用?或者怎么样才能避免这种问题的发生?

添加评论

请问大佬解决了吗?遇到了和你一模一样的问题,一开始消费好好的,运行一段时间后日志一直打印dead for group ....,然后重启就不消费数据了...

Group renewalGroup generation 1 is dead and removed,应该是info级别的日志吧。
不太清楚你程序的设计,你可以先用命令来查看消费者订阅的情况,查看offset等。
https://www.orchome.com/454

对这个是info级别的日志,很奇怪,五个消费者组,有两个消费者组启动时就直接报这个错误,其他三个却没有问题。不过现在更改了那两个消费者组的组名,暂时没出现什么问题

嗯,你通过命令查看下状态,看看消费者和topic之间都一一对应不。

你的答案

查看kafka相关的其他问题或提一个您自己的问题