Kafka有没有命令可以查看Consumer中的数据

鎶→臉無奈 发表于: 2019-10-25   最后更新时间: 2019-10-25  

小白问下各位大佬,Kafka有没有命令可以查看Consumer中的数据?比如我想看topic为test,partition为0,offsent为10的数据,能通过命令的方式查看数据么?



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: Log flush latency (95th percentile) > 10ms 日志刷新延迟
下一条: kafka follower 副本宕机同时有新的数据写入,重启后日志同步是全量同步还是增量同步

  • bin/kafka-simple-consumer-shell.sh --brist localhost:9092 --topic test --partition 0 --offset 1234  --max-messages 10
    

    参考来自:https://www.orchome.com/454

    • -bash: ./kafka-simple-consumer-shell.sh:没有那个文件或目录. 是我的安装包有问题么?

      [kafka@kuandai01 bin]$ ll
      总用量 140
      -rwxrwx---. 1 kafka kafka 1421 1014 02:26 connect-distributed.sh
      -rwxrwx---. 1 kafka kafka 1418 1014 02:26 connect-standalone.sh
      -rw-rw-r--. 1 kafka kafka 3321 1018 08:10 increase-replication-factor1.json
      -rw-rw-r--. 1 kafka kafka  367 1018 07:22 increase-replication-factor.json
      -rwxrwx---. 1 kafka kafka  861 1014 02:26 kafka-acls.sh
      -rwxrwx---. 1 kafka kafka  873 1014 02:26 kafka-broker-api-versions.sh
      -rwxrwx---. 1 kafka kafka  864 1014 02:26 kafka-configs.sh
      -rwxrwx---. 1 kafka kafka  945 1014 02:26 kafka-console-consumer.sh
      -rwxrwx---. 1 kafka kafka  944 1014 02:26 kafka-console-producer.sh
      -rwxrwx---. 1 kafka kafka  871 1014 02:26 kafka-consumer-groups.sh
      -rwxrwx---. 1 kafka kafka  948 1014 02:26 kafka-consumer-perf-test.sh
      -rwxrwx---. 1 kafka kafka  871 1014 02:26 kafka-delegation-tokens.sh
      -rwxrwx---. 1 kafka kafka  869 1014 02:26 kafka-delete-records.sh
      -rwxrwx---. 1 kafka kafka  866 1014 02:26 kafka-dump-log.sh
      -rwxrwx---. 1 kafka kafka  863 1014 02:26 kafka-log-dirs.sh
      -rwxrwx---. 1 kafka kafka  862 1014 02:26 kafka-mirror-maker.sh
      -rwxrwx---. 1 kafka kafka  886 1014 02:26 kafka-preferred-replica-election.sh
      -rwxrwx---. 1 kafka kafka  959 1014 02:26 kafka-producer-perf-test.sh
      -rwxrwx---. 1 kafka kafka  874 1014 02:26 kafka-reassign-partitions.sh
      -rwxrwx---. 1 kafka kafka  874 1014 02:26 kafka-replica-verification.sh
      -rwxrwx---. 1 kafka kafka 9036 1014 02:26 kafka-run-class.sh
      -rwxrwx---. 1 kafka kafka 1376 1014 02:26 kafka-server-start.sh
      -rwxrwx---. 1 kafka kafka  997 1014 02:26 kafka-server-stop.sh
      -rwxrwx---. 1 kafka kafka  945 1014 02:26 kafka-streams-application-reset.sh
      -rwxrwx---. 1 kafka kafka  863 1014 02:26 kafka-topics.sh
      -rwxrwx---. 1 kafka kafka  958 1014 02:26 kafka-verifiable-consumer.sh
      -rwxrwx---. 1 kafka kafka  958 1014 02:26 kafka-verifiable-producer.sh
      -rwxrwx---. 1 kafka kafka 1722 1014 02:26 trogdor.sh
      drwxrwx---. 2 kafka kafka 4096 10月 14 02:26 windows
      -rwxrwx---. 1 kafka kafka  867 1014 02:26 zookeeper-security-migration.sh
      -rwxrwx---. 1 kafka kafka 1393 1014 02:26 zookeeper-server-start.sh
      -rwxrwx---. 1 kafka kafka 1001 1014 02:26 zookeeper-server-stop.sh
      -rwxrwx---. 1 kafka kafka  968 1014 02:26 zookeeper-shell.sh
      
        • 我运行这条命令后可以查到消息,但是命令变成--offsent 2648就查不到了,是不是数据有保留时间?如果我想永久保留数据应该如何设置呢?
          命令:bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.1:9092 --topic test_a --partition 0 --offset 2658