kafka消费不出来数据,不报错 poll无阻塞

晴天的雨 发表于: 2019-07-11   最后更新时间: 2019-07-11  

循环poll(10000),手动commit,topic每天00点会生产30条数据,但是消费的时候消费不全,poll没有阻塞,也没有报错,但是poll的数据是空的,查看group情况,lag还有数据是什么情况
我的消费者配置:

bootstrap.servers = [node1:9092, node2:9092, node3:9092]
fetch.max.wait.ms = 3000
fetch.min.bytes = 1024*1024
group.id = console-consumer-92931
key.deserializer = class org.apache.kafka.common.serialization.StringDeserializer
max.poll.records = 1000
enable.auto.commit=false
value.deserializer = class org.apache.kafka.common.serialization.StringDeserializer


您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容





发表于: 1月前   最后更新时间: 1月前   游览量:209
上一条: kafka节点重启后引发 UnknownTopicOrPartitionException: This server does not host this topic-partition 无法消费问题
下一条: kafka能够将高版本的补丁改入当前版本自行编译实现bug修复吗?

  • 我觉得你手动提交写的有问题,你得贴点代码。

    • 主要代码如下:
      while(true){
      ConsumerRecords records = kafkaConsumer.poll(10000);
      if (!records.isEmpty()) {
      for (ConsumerRecord record : records) {
      dataList.add(record.value());
      }
      dataConsumer.accept(dataList);
      dataList.clear();
      kafkaConsumer.commitSync();
      }
      }