kafka消费不出来数据,不报错 poll无阻塞

晴天的雨 发表于: 2019-07-11   最后更新时间: 2019-07-11 14:01:33   3,536 游览

循环poll(10000),手动commit,topic每天00点会生产30条数据,但是消费的时候消费不全,poll没有阻塞,也没有报错,但是poll的数据是空的,查看group情况,lag还有数据是什么情况
我的消费者配置:

bootstrap.servers = [node1:9092, node2:9092, node3:9092]
fetch.max.wait.ms = 3000
fetch.min.bytes = 1024*1024
group.id = console-consumer-92931
key.deserializer = class org.apache.kafka.common.serialization.StringDeserializer
max.poll.records = 1000
enable.auto.commit=false
value.deserializer = class org.apache.kafka.common.serialization.StringDeserializer
发表于 2019-07-11
添加评论

我觉得你手动提交写的有问题,你得贴点代码。

晴天的雨 -> 半兽人 4年前

主要代码如下:
while(true){
ConsumerRecords records = kafkaConsumer.poll(10000);
if (!records.isEmpty()) {
for (ConsumerRecord record : records) {
dataList.add(record.value());
}
dataConsumer.accept(dataList);
dataList.clear();
kafkaConsumer.commitSync();
}
}

你的答案

查看kafka相关的其他问题或提一个您自己的问题