Kafka 同一个broker增加磁盘后 topic 迁移

克里斯蒂安 发表于: 2020-05-08   最后更新时间: 2020-05-09  

kafka-reassign-partitions.sh在增加或减少实例时候是有效果的

但是同一个broker在增加一个磁盘后,使用kafka-reassign-partitions.sh无效果

只有增加topic的时候,新盘才会有数据

除了手动拷贝,如何在增加新盘后,平衡一下新老盘的数据



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka 升级2.5.0版本失败,回滚到1.1.0版本后,无法查询某个消费者组的信息
下一条: kafka低级消费者 消费情况可以查看吗?

  • 没太理解. broker增加磁盘挂载,增加的也是新路径,这块逻辑跟kafka没关系吧

    • 加入本来有/data1,kafka的topic都在这里,现在增加了一个/data2,怎么能实现/data1下的部分topic分区迁移到/data2,目前只能手动拷贝过去,然后重启kafka

        • 是这样,假如kafka只有一个broker,且只配置了/data1这个目录
          现在机器新加了一个数据盘/data2,然后修改了kafka的配置文件,目前log.dirs=/data1,/data2
          重启后,我要是再新建topic,/data2上会有新topic的数据的
          现在问题是:
          如果我想把/data1盘下面的某些topic的数据目录移到/data2,以缓解/data1的空间压力
          是不是只能靠手动mv一些目录到/data2下,然后再重启kafka(实时上这样子我测试过成功了)
          有木有办法,kafka会自动在同一个broker配置的不同的数据盘之间做数据均衡?