kafka迁移问题

忽悠之神 发表于: 2020-10-30   最后更新时间: 2020-10-30 12:14:25   950 游览

情况总结:
1、现有3台kafka环境,数据想迁移到新的3台服务器上;
2、网上查到的迁移解决方案是:先将新的3台服务器加入到已有的3台服务器集群里,然后再分割新旧集群;
3、原有3台kafka是2.12版本,3分区2副本;
4、原有3台kafka是ssl_sasl认证;
问题:
1、如果加入新的3台服务器,是否kafka的分区数和副本数要修改,如果修改改成多少?
2、如果第一个问题修改了,分割后新的环境还能再调整为3分区2副本吗?
3、分割后如果修改zk的配置再重启会对新的环境造成影响吗?影响是什么?

发表于 2020-10-30
添加评论

1、把老的分区直接移到新的节点上即可,老节点不用保留任何分区和节点,副本和分区数根据你的情况自己决定
2、同上
3、不太清楚你要修改zk的什么信息。

另外,如果你的业务允许的话,搭建3台干净的kafka集群,新消息写到新集群,这种最好(因为海量数据迁移可以会导致进行一周或者二周)。

忽悠之神 -> 半兽人 3年前

谢谢大佬的解答!但是kafka一直有其他公司传入的数据,不太好停业务把数据拷贝到新的节点上,想不用停业务同步数据的办法解决,所有才有上面的问题!另外想问一下,kafka3台服务器每台上大概80G的数据,同步的话需要多长时间?

半兽人 -> 忽悠之神 3年前

看你们机器间的io吞吐量,计算出来时间。 如果你们的消息持续流入,高过了迁移速度,那永远都好不了。

半兽人 -> 忽悠之神 3年前

让他们写到新节点呀 老的消费掉就好了

你的答案

查看kafka相关的其他问题或提一个您自己的问题