kafka重平衡分区分配策略问题

蒲公英不是梦 发表于: 2021-12-12   最后更新时间: 2021-12-13 10:38:03   779 游览

一个分区只会分配给一个consumer实例,(配置允许的话)一个consumer会被分配多个分区从而实现高可用,如果配置时分区少于consumer实例会怎样?

出现这种情况肯定是配置不合理的错,就是想知道kafka对这种情况有没有解决的办法。

发表于 2021-12-12
添加评论

一个消费者可以消费多个分区,反之不行。

消费者再平衡算法允许组中所有的消费者消费哪一个分区达成共识,同组中的broker和其他的消费者的每一次增加或移除触发消费者再平衡。对于一个给定的topic和给定的消费者组,组内的消费者之间均匀的分配broker分区。如果我们允许一个分区被多个消费者共同消费,这需要锁了,所有我们设计一个分区永远只有一个消费者进行消费。这样设计简化了很多。如果消费者比分区多,那么一些消费者将不会获得任何数据。在再平衡期间,我们试图分配分区给消费者。以这样的方式来减少每个消费者连接到broker的节点数。
摘自:kafka分配

你的答案

查看kafka相关的其他问题或提一个您自己的问题