Kafka消费不均匀

克里斯蒂安 发表于: 2019-11-23   最后更新时间: 2019-11-23 23:59:15   2,959 游览

Spark提交kafka的消费者

3个分区的topic,消息不断进入

p0和p2挤压几百数据,p1挤压10000多,导致一直卡在消费p1

我应该怎么解决,谢谢

发表于 2019-11-23
## 显示某个消费组的消费详情(0.10.1.0版本+)
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group

每个分区对应的消费者的情况看一下,另外,每个分区入的消息和lag之间差。(比如每秒每个分区都消费掉2000)只是有一个消费者积压了10000条,但是仅仅是应该有持续的消息进来,导致一直无法消费完。

我还在找问题,现在一启动就莫名期末的给重置offset到最后,我一会儿发个截图

Fetch offset 18441 is out of range for partition bp_yt_update_topic-0, resetting offset
Resetting offset for partition bp_yt_update_topic-0 to offset 18481.
我现在一共有18481条数据,offset在18441,但我一启动就自动给我重置了,之前一直好好的
不知道这是什么问题

一启动就重置到18481这里,相当于丢了40条数据

如果offset就在18441,那客户端auto.offset.reset配置的是latest,取的即是1841(不会跳过最新的)。
消息丢失是如何确认的?一启动是否消息已经取走了,而不是跳过了。

我确认过,消费的消息没有通过log打印出来,应该是跳过了

就如我上面所说,除非group组换了新的,才会从最新的开始消费,另外就是offset手动设置为最新的位置。
否则消费者都将会从上次保留的offset位置开始消费,不会跳过的。

很神奇,什么都没改,今天自动恢复正常了

你的答案

查看kafka相关的其他问题或提一个您自己的问题