kafka一直在rebalance,导致无法消费

发表于: 2020-07-20   最后更新时间: 2020-07-20  

版本 : kafka_2.12-2.4.0

kafka一直在rebalance,导致无法消费。

comsumer报错如下:

screenshot

server端:
screenshot

配置:

max.block.ms = 60000
auto.commit.interval.ms = 30000
enable.auto.commit = true
max.poll.interval.ms = 500000
max.poll.records = 300
session.timeout.ms = 10000
heartbeat.interval.ms = 3000

小白请教下大神们



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka集群重启后节点丢失如何修复
下一条: kafka超时报错 Expiring 28 record(s) for xxx-11: 30302 ms has passed since batch creation plus linger time

  • auto.commit.interval.ms 这个30秒不行,少于30秒,默认是5秒(如果提交失败,则这个间隔时间的消息都会重新消费)。
    引起的原因其实很简单,kafka客户端默认超时时间是30秒,如果消费者没有响应,就会触发重新平衡。

    • 你好大神,请问下是这个auto.commit.interval.ms 太大引起的?但是重新平衡了很久都未能再次消费,消费者没挂,就是一直卡着,不能从kafka消费消息

        • 以前低版本的时候设置 consumer.timeout.ms=-1, 消费者不超时,新版本好像没看到这个属性,consumer超时时间

            • 你以上提供的配置都不是这个问题,我给你说的你试试。
              或者你把这些配置全部删掉,用默认的,也不会出问题。