kafka Reassign Partitions 耗时太久一直处于 pending

加菲爱吃鱼 发表于: 2020-06-10   最后更新时间: 2020-06-10  

kafka 之前有 3 台 broker, 最近新增了一台 broker, 然后执行 Reassign Partitions 的操作(数据量比较大), 但是这个操作执行完之后一直处于 Pending 状态, 经过了大概 48 个小时了也一直没有什么进展(通过 kafka manager 观察)。不知道有没有小伙伴遇到过类似的问题。



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: 一些对Kafka Connector Distributed Mode 的一下理解和问题
下一条: ./kafka-consumer-groups.sh 命令执行失败

  • 这量得多大,同步的差距有缩小吗

    • 我们的业务情况比较特殊点,夜间是高峰期,这个操作是从下午 4 点开始操作的,有看到过缩小了一点点,但是第二天来看监控,缩小的又涨回去了。所以就一直处于差距并没有缩小的情况。

        • 这种情况是不是可以通过将生成的 Reassign Partitions 计划做拆分,按照官方的操作来看,是会执行 topic 的所有分区的迁移,是不是可以一次就执行 topic 的一个分区的 reassign。

            • 先没做单个分区的迁移,还是继续监控之前全部迁移的任务状态,现在总算是有些进度了,不过比较缓慢,全部迁移完估计还得好几天。也算得到个结论,在大数量的情况下,迁移全部的分区真的是很耗时