kafka offset.channel.backoff.ms 问题

Jacky 发表于: 2019-09-20   最后更新时间: 2019-09-21  

offset.channel.backoff.ms=1000

这个配置所对应的是指消费端尝试重新连接的时间,那这个重新连接是指消费端重新发起一个新的请求通道?还是复用之前失效的请求通道?如果是复用失效的通道,那服务端都已经认为这个通道无效了,因为我现在在服务端抓包,看到的是客户端发起请求,服务端直接reest了

场景:消费端在消费后等待消费的到来,等待半小时后再拉取消费正常。但是提交offset的时候抓包看到是服务端reset了



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka 集群consumer 收不到消息
下一条: kafka connect 转换异常

  • 我觉得问题不在这里,结合你的场景描述。
    消费者一直在长轮询(poll))获取消息,这个时候是和kafka有心跳保持的。
    但当你拉取到新的消息,在规定时间内(默认30秒)没有提交offset,消费者组会重新平衡,而导致你offset提交失败。

    • 问题根本原因已找到了。
      想问一下,拉取消息的通道和提交offset的通道不是同一请求通道 ?目前证明的确不是一个通道 ,导致分析方向一直不对。