kafka分区拉取消息问题

青天白云 发表于: 2020-12-21   最后更新时间: 2020-12-21  

大佬请教两个问题:

一,consumer.poll 拉取kafka中消息(外层while(true))经常前几次拉不到数据,这是什么原因(kafka中一直有数据的),网络还是kafka机制的原因???

二,consumer.poll topic有三个分区,只有一个消费者,每次拉取时候,是随机从分片上拉取数据的,6中可能;这是什么原因呢, 打扰了,谢谢!!!

KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(properties);
kafkaConsumer.subscribe(Collections.singletonList("activenodeStatus"));
while (true) {
     ConsumerRecords<String, String> records = kafkaConsumer.poll(Duration.ofMillis(1));
}


您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: CDH Kafka 配置权限未生效
下一条: 阻塞队列消费kafka中消息,怎么避免触发rebalance。

  • 1、跟订报纸一样,当你从订阅报纸的那一刻,后续的报纸才会发送给你(之前的不会给你),所以你需要优先启动消费者。
    2、6中可能是什么意思?

    另外,你使用的是订阅指定的分区方式:https://www.orchome.com/451#item-8
    但是看你的描述,你直接用默认自动分区的即可:https://www.orchome.com/451#item-5