kafka消费者消费一段时间就自动停止消费

BLue 发表于: 2021-11-15   最后更新时间: 2021-11-16 09:22:38   3,865 游览

我是使用的类似于kettle的kafka消费者组件,在正常运行一段时间后,kafka就停止了消费,期间没有报错,另外重启任务,其又能正常的进行消息的消费。

其中的参数如下:

auto.offset.reset  earliest
session.timeout.ms 20000

我的怀疑是一段时间内kafka中没有消息,消费者一直消费不到消息,导致消费者被踢出消费群组。

重启前和后:

kafka消费者:

希望给出解答。

发表于 2021-11-15
添加评论

你的消息量不大,超时是不会引起的。

还有2种可能:
1、kafka消费者报错(消息格式)。
2、不太清楚你kafka消费者启动的方式,但是一定要守护进程的方式启动(永不停止,后台运行,不会随着窗口的关闭而销毁)。

BLue -> 半兽人 2年前

第一种可能是消息格式错误,重启后应后应该是启动不了的吧,第二种是守护进程,我感觉是使用的守护进程,因为重新启动后将所有的窗口关闭,消费者还是可以正常进行消费的。大佬资源的不足会不会也会导致消费者的自动停止。

半兽人 -> BLue 2年前

如果是自动提交,拉取消息后,就提交了,所以就跳过了。
资源不足,你不是说没多少消息嘛。

你的答案

查看kafka相关的其他问题或提一个您自己的问题