kafka关于batch.size, 与 linger.ms

~紫瞳ぁ傲雪~ 发表于: 2019-05-08   最后更新时间: 2019-05-08  

kafka关于batch.sizelinger.ms,现在我知道两者达到其中一个条件就会发送消息么那么我想知道。

问题: 那么在未达到linger.ms 的时候, batch.size也没到,突然来了个很占内存的消息,一下子超了batch.size,这个时候,如何发送消息的机制是什么?

是都发送过去, 还是仅仅发送batch.size大小的数据, 或者是其他方式?



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容





发表于: 3月前   最后更新时间: 3月前   游览量:464
上一条: 怎么转换kafka里面的的数据格式(二进制)。
下一条: kafka 选举得到 leader 是 broken 的leader 还是 Parition 的 leader。 kafka 如何实现数据不重复消费和丢失数据。

  • 如果超过最大限制,会放到下一次消息中。
    比如:单挑消息超过1m则报错

    • 感谢回答, 您看我理解的对不对. 就是之前有消息,再来消息的时候超过了配饰batch.size, 那么新的消息会放到下次消息中发送, 然后之前的消息依然会发过去, 但是如果一条都木有呢, 来了一条超过1m的数据,这个时候就会报错了.