Kafka有没有命令可以查看Consumer中的数据

鎶→臉無奈 发表于: 2019-10-25   最后更新时间: 2019-10-25 13:29:26   4,898 游览

小白问下各位大佬，Kafka有没有命令可以查看Consumer中的数据？比如我想看topic为test，partition为0，offsent为10的数据，能通过命令的方式查看数据么？

kafka
发表于 2019-10-25
鎶→臉無奈
添加评论 
bin/kafka-simple-consumer-shell.sh --brist localhost:9092 --topic test --partition 0 --offset 1234  --max-messages 10

参考来自：https://www.orchome.com/454

回复
回答于 4年前
半兽人

-bash: ./kafka-simple-consumer-shell.sh:没有那个文件或目录. 是我的安装包有问题么？

[kafka@kuandai01 bin]$ ll
总用量 140
-rwxrwx---. 1 kafka kafka 1421 10月 14 02:26 connect-distributed.sh
-rwxrwx---. 1 kafka kafka 1418 10月 14 02:26 connect-standalone.sh
-rw-rw-r--. 1 kafka kafka 3321 10月 18 08:10 increase-replication-factor1.json
-rw-rw-r--. 1 kafka kafka  367 10月 18 07:22 increase-replication-factor.json
-rwxrwx---. 1 kafka kafka  861 10月 14 02:26 kafka-acls.sh
-rwxrwx---. 1 kafka kafka  873 10月 14 02:26 kafka-broker-api-versions.sh
-rwxrwx---. 1 kafka kafka  864 10月 14 02:26 kafka-configs.sh
-rwxrwx---. 1 kafka kafka  945 10月 14 02:26 kafka-console-consumer.sh
-rwxrwx---. 1 kafka kafka  944 10月 14 02:26 kafka-console-producer.sh
-rwxrwx---. 1 kafka kafka  871 10月 14 02:26 kafka-consumer-groups.sh
-rwxrwx---. 1 kafka kafka  948 10月 14 02:26 kafka-consumer-perf-test.sh
-rwxrwx---. 1 kafka kafka  871 10月 14 02:26 kafka-delegation-tokens.sh
-rwxrwx---. 1 kafka kafka  869 10月 14 02:26 kafka-delete-records.sh
-rwxrwx---. 1 kafka kafka  866 10月 14 02:26 kafka-dump-log.sh
-rwxrwx---. 1 kafka kafka  863 10月 14 02:26 kafka-log-dirs.sh
-rwxrwx---. 1 kafka kafka  862 10月 14 02:26 kafka-mirror-maker.sh
-rwxrwx---. 1 kafka kafka  886 10月 14 02:26 kafka-preferred-replica-election.sh
-rwxrwx---. 1 kafka kafka  959 10月 14 02:26 kafka-producer-perf-test.sh
-rwxrwx---. 1 kafka kafka  874 10月 14 02:26 kafka-reassign-partitions.sh
-rwxrwx---. 1 kafka kafka  874 10月 14 02:26 kafka-replica-verification.sh
-rwxrwx---. 1 kafka kafka 9036 10月 14 02:26 kafka-run-class.sh
-rwxrwx---. 1 kafka kafka 1376 10月 14 02:26 kafka-server-start.sh
-rwxrwx---. 1 kafka kafka  997 10月 14 02:26 kafka-server-stop.sh
-rwxrwx---. 1 kafka kafka  945 10月 14 02:26 kafka-streams-application-reset.sh
-rwxrwx---. 1 kafka kafka  863 10月 14 02:26 kafka-topics.sh
-rwxrwx---. 1 kafka kafka  958 10月 14 02:26 kafka-verifiable-consumer.sh
-rwxrwx---. 1 kafka kafka  958 10月 14 02:26 kafka-verifiable-producer.sh
-rwxrwx---. 1 kafka kafka 1722 10月 14 02:26 trogdor.sh
drwxrwx---. 2 kafka kafka 4096 10月 14 02:26 windows
-rwxrwx---. 1 kafka kafka  867 10月 14 02:26 zookeeper-security-migration.sh
-rwxrwx---. 1 kafka kafka 1393 10月 14 02:26 zookeeper-server-start.sh
-rwxrwx---. 1 kafka kafka 1001 10月 14 02:26 zookeeper-server-stop.sh
-rwxrwx---. 1 kafka kafka  968 10月 14 02:26 zookeeper-shell.sh
0 0 回复 
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mytopic --offset 10 --partition 0
0 0 回复

我运行这条命令后可以查到消息，但是命令变成--offsent 2648就查不到了，是不是数据有保留时间？如果我想永久保留数据应该如何设置呢？
命令：bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.1:9092 --topic test_a --partition 0 --offset 2658

0 0 回复

bin/kafka-topics.sh --zookeeper localhost:2181 -topic mytopic --alter --config retention.ms=2592000000

0 0 回复

kafka默认是删除7天前的消息。
可修改：log.retention.hour
参考：https://www.orchome.com/472

0 0 回复
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。