集群持续的刷Preparing to restabilize group CONSUMER-GROUP with old generation 5315,消费者一直在重新平衡

小蕊 发表于: 2018-07-27   最后更新时间: 2018-07-30 10:45:51   9,200 游览

版本 : Kafka 2.11-0.10.0.1

kafka集群里,持续的刷

[2018-07-27 18:14:37,545] INFO [GroupCoordinator 110]: Stabilized group CREDIT-FIVE-GW-AUTH-FEE generation 5315 (kafka.coordinator.GroupCoordinator)
[2018-07-27 18:14:37,607] INFO [GroupCoordinator 110]: Assignment received from leader for group CONSUMER-GROUP for generation 5315 (kafka.coordinator.GroupCoordinator)
[2018-07-27 18:15:04,502] INFO [GroupCoordinator 110]: Preparing to restabilize group CONSUMER-GROUP with old generation 5315 (kafka.coordinator.GroupCoordinator)

而多个消费者就持续的重新平衡消费者,反复的刷,请问是什么问题?

发表于 2018-07-27
添加评论

我的 三台机器,版本是  kafka_2.11-1.0.0  的 也还是,不断的在刷 。

日志:

[2018-10-09 20:45:25,657] INFO [GroupCoordinator 1]: Preparing to rebalance group  xxxxx  with old generation 187874 (consumer_offsets-15) (kafka.coordinator.group.GroupCoordinator)
[2018-10-09 20:45:25,657] INFO [GroupCoordinator 1]: Group xxxxx  with generation 187875 is now empty (
consumer_offsets-15) (kafka.coordinator.group.GroupCoordinator)
[2018-10-09 20:45:27,222] INFO [GroupCoordinator 1]: Preparing to rebalance group xxxxx  with old generation 187875 (consumer_offsets-15) (kafka.coordinator.group.GroupCoordinator)
[2018-10-09 20:45:27,222] INFO [GroupCoordinator 1]: Stabilized group xxxxx generation 187876 (
consumer_offsets-15) (kafka.coordinator.group.GroupCoordinator)
[2018-10-09 20:45:27,224] INFO [GroupCoordinator 1]: Assignment received from leader for group xxxxx for generation 187876 (kafka.coordinator.group.GroupCoordinator)
[2018-10-09 20:45:33,612] INFO [GroupCoordinator 1]: Preparing to rebalance group xxxxx with old generation 187876 (consumer_offsets-15) (kafka.coordinator.group.GroupCoordinator)
[2018-10-09 20:45:33,612] INFO [GroupCoordinator 1]: Group xxxxx with generation 187877 is now empty (
consumer_offsets-15) (kafka.coordinator.group.GroupCoordinator)
[2018-10-09 20:45:35,162] INFO [GroupCoordinator 1]: Preparing to rebalance group  xxxxx with old generation 187877 (consumer_offsets-15) (kafka.coordinator.group.GroupCoordinator)
[2018-10-09 20:45:35,163] INFO [GroupCoordinator 1]: Stabilized group xxxxx generation 187878 (
consumer_offsets-15) (kafka.coordinator.group.GroupCoordinator)
[2018-10-09 20:45:35,164] INFO [GroupCoordinator 1]: Assignment received from leader for group xxxxx for generation 187878 (kafka.coordinator.group.GroupCoordinator)


xxxxx  -- 是我的  topic 

升级kafka版本,这个版本确实有这个问题。

小蕊 -> 無名 5年前

感谢,升级到2.11-1.0.0就没这个错误了。

小无名者 -> 無名 5年前

我的 三台机器,版本是  kafka_2.11-1.0.0  的 也还是,不断的在刷 。请问 在 1.0.0  版本 可否遇到过 类似问题 ?

半兽人 -> 小无名者 5年前

你的问题跟她一模一样吗?

小无名者 -> 半兽人 5年前

从报的错误上看是一样的,我的版本已经是 2.11-1.0.0 了 ,一台broker 一直在不停的刷. 另外两台报另外的告警;
 下面是 broker2 上的:

[2018-10-10 08:35:21,150] INFO [GroupMetadataManager brokerId=2] Removed 0 expired offsets in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)
[2018-10-10 08:40:00,127] WARN Attempting to send response via channel for which there is no open connection, connection id 10.105.23.198:9092-10.105.218.118:35974-478705 (kafka.network.Processor)
[2018-10-10 08:45:21,150] INFO [GroupMetadataManager brokerId=2] Removed 0 expired offsets in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)
[2018-10-10 08:54:13,646] INFO Rolled new log segment for 'xxxxxxx' in 9 ms. (kafka.log.Log)
[2018-10-10 08:55:21,150] INFO [GroupMetadataManager brokerId=2] Removed 0 expired offsets in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)
[2018-10-10 09:05:21,150] INFO [GroupMetadataManager brokerId=2] Removed 0 expired offsets in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)

半兽人 -> 小无名者 5年前

你的客户端版本,也升级一下。

小无名者 -> 半兽人 5年前

客户端到 升级,就不用重启 所有 broker 吧? 我尝试下 你到建议。多谢

半兽人 -> 小无名者 5年前

不需要重启。

你的答案

查看kafka相关的其他问题或提一个您自己的问题