如何从kafka里找出某个时间段的信息?

開開新新 发表于: 2021-07-01   最后更新时间: 2021-07-01 15:09:08   1,937 游览

平时都是用logstash从kafka拉数据到ES,再用kibana展示。但是有时候开发不按套路生产数据,导致ES拒绝写入某些doc的mapping格式(也就是丢数据)。 我想从kafka重新拉出某个时间段的数据,比如说现在是12点,我拉1->6点的数据。

kafka-console-consumer.sh 可以传offset,但是我不知道1-6点对应的是哪个offset,有没有只给timestamp就可以获取数据的方法?

发表于 2021-07-01

kafka python client可以指定时间戳接收消息,但是你必须要指定分区。
https://kafka-python.readthedocs.io/en/master/apidoc/KafkaClient.html

開開新新 -> 灰色ido 2年前

我找了一个工具 kafkacat解决了。

你的答案

查看kafka相关的其他问题或提一个您自己的问题