kafka滚动重启几台broker后,某些消费者换group才能消费

人间不值得 发表于: 2020-09-17   最后更新时间: 2020-09-18  

重启了一个集群的部分broker后,部分消费者报错:

kafka server: Request was for a consumer group that is not coordinated by this broker. groupID=XXXXX

同时伴随着reblance的报错。

broker版本是0.10.2.1

这个问题遇到过多次了,尝试过再次重启、迁移主从,虽然更换group后可以正常消费,换group会重复消费大量数据,想知道有没有能让原group恢复消费的方法



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka 在线更改gzip压缩方式,会有什么影响吗
下一条: kafka consumer.offsetsForTimes 卡住 超时

  • kafka的消费者offset在__consumer_offsets主题上。我怀疑你的副本数,可能只有1个,所以重启的那个节点上影响了它。

    • 有的集群的group在若干小时后可自行恢复正常消费;有一个19broker的集群的group,好几个月了还是不能消费。在重启完之后,topic的副本状态正常,没有不在同步状态的副本