为什么kafka broker网卡出去的流量比进入的大?

江西老表 发表于: 2021-12-27   最后更新时间: 2021-12-27 17:48:28   673 游览

在Grafana上观察 kafka broker BytesInPerSec 流量70MB/s, BytesOut_total 800MB/s。

另外查看网卡流量bond0_in 168MB/s bond0_out 807MB/s ,Lag 有较大积压。

1、out大于in,是consumer端流量比producer端大吗,为什么还有积压?

2、为什么 ethtool bond0 显示10000MB/s 但out到1GB/s 就上不去了?

3、流量大导致ISR中频繁被踢出加入,是副本同步速度赶不上吗?

发表于 2021-12-27
添加评论

1、out * 副本数。而且你的消息会被不同的消费者订阅,而你的发送者只有一个。

2、你的集群物理的网络和节点内存,决定了你的上限。

3、是的

@半兽人
我这边碰到个问题想问下,
一个topic只有一个消费者组,流出流量是流入流量的两倍,lag没有积压,这是为什么?
副本数是2,流出流量是 副本数*2 ?

你的答案

查看kafka相关的其他问题或提一个您自己的问题