kafka消费者吞吐量低

Crazy 。 发表于: 2020-06-03   最后更新时间: 2020-06-03  

正式服务器上kafka消费者吞吐量很低一般是什么原因造成的?

 bash-4.4# kafka-consumer-perf-test.sh --broker-list  :9092  --topic runtime_log --messages 10000 --fetch-size 1048576 --threads 1
start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2020-06-03 08:50:49:156, 2020-06-03 08:51:04:382, 7.6468, 0.5022, 10493, 689.1501, 1591174249605, -1591174234379, -0.0000, -0.0000

PS:测试服务器以及本地虚拟机搭建的kafka,吞吐量正常,结果如下:

bash-4.4# kafka-consumer-perf-test.sh --broker-list  47.94.**.***:9092  --topic runtime_log --messages 10000 --fetch-size 1048576 --threads 1
start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2020-06-03 08:47:55:302, 2020-06-03 08:47:56:972, 8.1897, 4.9040, 10247, 6135.9281, 1591174075910, -1591174074240, -0.0000, -0.0000


您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka某个分区不消费
下一条: kafka消费者感知后端broker变更生效

  • 你看看runtime_log主题的分区是否和测试环境相同,监控kafka集群之间的性能、网络、io,防火墙等。

    • 大佬,我现在的场景是topic设置的分区数是100个,2个消费端用不同的groupid消费数据,每个都是100个线程,如果2个同时跑就会出现数据积压,但是如果只跑其中的一个消费端是正常的,这是什么原因啊

        • 都出现积压,是一个有积压,还是都有?
          你同时有2个的消费者组,消息积压一般是处理能力的问题,你如何确认消费处理能力是否ok(可以丢弃消息不做任何处理来进行测试)。
          另外,这个是别人的问题额...

            • 分区是一样的都是单节点一个分区,外网带宽都是1M,kafka部署的方式不一样(测试是k8s,正式是ECS上的docker),版本配置一样。防火墙的话是影响什么
              ?这都是基于本机内部终端测试的,涉及不到防火墙吧?还是说有其他的。。IO我没看,我看看IO吧 。谢谢了