kafka 处理单条数据量大的消息性能

发表于: 2020-01-13   最后更新时间: 2020-01-13  

kafka集群需要接入单条消息大小在100MB以下的消息,在测试过程中,发送单条消息大小为40MB,网络流量为100MB/s,topic分区数为24,两台kafka节点,单台kafka节点磁盘数为12,副本数为2,机器网络带宽为万兆网卡,在发送消息的过程中,经常会出现磁盘利用率95%以上的情况,副本掉出ISR,请问大家有遇到过这种现象吗?该怎么排查呢?



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka的一个topic中有12个分区,其他分区都正常,突然有一个分区不消费了。没有任何报错,这是什么问题?
下一条: kafka connect来导入数据命令出错。