kafka Reassign Partitions 耗时太久一直处于 pending

加菲爱吃鱼 发表于: 2020-06-10   最后更新时间: 2020-06-10 19:28:47   2,685 游览

kafka 之前有 3 台 broker, 最近新增了一台 broker, 然后执行 Reassign Partitions 的操作(数据量比较大), 但是这个操作执行完之后一直处于 Pending 状态, 经过了大概 48 个小时了也一直没有什么进展(通过 kafka manager 观察)。不知道有没有小伙伴遇到过类似的问题。

发表于 2020-06-10
添加评论

这量得多大,同步的差距有缩小吗

我们的业务情况比较特殊点,夜间是高峰期,这个操作是从下午 4 点开始操作的,有看到过缩小了一点点,但是第二天来看监控,缩小的又涨回去了。所以就一直处于差距并没有缩小的情况。

这种情况是不是可以通过将生成的 Reassign Partitions 计划做拆分,按照官方的操作来看,是会执行 topic 的所有分区的迁移,是不是可以一次就执行 topic 的一个分区的 reassign。

是可以按单个分区迁的。
现在差距如何了,你一次性迁太多分区到新broker上了,一直追不上。

先没做单个分区的迁移,还是继续监控之前全部迁移的任务状态,现在总算是有些进度了,不过比较缓慢,全部迁移完估计还得好几天。也算得到个结论,在大数量的情况下,迁移全部的分区真的是很耗时

你的答案

查看kafka相关的其他问题或提一个您自己的问题