Kafka消费不均匀

克里斯蒂安 发表于: 2019-11-23   最后更新时间: 2019-11-23  

Spark提交kafka的消费者

3个分区的topic,消息不断进入

p0和p2挤压几百数据,p1挤压10000多,导致一直卡在消费p1

我应该怎么解决,谢谢



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka的consumer消费分区问题
下一条: kafka AdminClient频繁报Timed out waiting to send the call

  • ## 显示某个消费组的消费详情(0.10.1.0版本+)
    bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group
    

    每个分区对应的消费者的情况看一下,另外,每个分区入的消息和lag之间差。(比如每秒每个分区都消费掉2000)只是有一个消费者积压了10000条,但是仅仅是应该有持续的消息进来,导致一直无法消费完。

    • Fetch offset 18441 is out of range for partition bp_yt_update_topic-0, resetting offset
      Resetting offset for partition bp_yt_update_topic-0 to offset 18481.
      我现在一共有18481条数据,offset在18441,但我一启动就自动给我重置了,之前一直好好的
      不知道这是什么问题

        • 如果offset就在18441,那客户端auto.offset.reset配置的是latest,取的即是1841(不会跳过最新的)。
          消息丢失是如何确认的?一启动是否消息已经取走了,而不是跳过了。

            • 就如我上面所说,除非group组换了新的,才会从最新的开始消费,另外就是offset手动设置为最新的位置。
              否则消费者都将会从上次保留的offset位置开始消费,不会跳过的。