kafka 处理单条数据量大的消息性能

发表于: 2020-01-13   最后更新时间: 2020-01-13 22:14:12   3,200 游览

kafka集群需要接入单条消息大小在100MB以下的消息,在测试过程中,发送单条消息大小为40MB,网络流量为100MB/s,topic分区数为24,两台kafka节点,单台kafka节点磁盘数为12,副本数为2,机器网络带宽为万兆网卡,在发送消息的过程中,经常会出现磁盘利用率95%以上的情况,副本掉出ISR,请问大家有遇到过这种现象吗?该怎么排查呢?

添加评论
你的答案

查看kafka相关的其他问题或提一个您自己的问题