kafka迁移问题

忽悠之神 发表于: 2020-10-30   最后更新时间: 2020-10-30  

情况总结:
1、现有3台kafka环境,数据想迁移到新的3台服务器上;
2、网上查到的迁移解决方案是:先将新的3台服务器加入到已有的3台服务器集群里,然后再分割新旧集群;
3、原有3台kafka是2.12版本,3分区2副本;
4、原有3台kafka是ssl_sasl认证;
问题:
1、如果加入新的3台服务器,是否kafka的分区数和副本数要修改,如果修改改成多少?
2、如果第一个问题修改了,分割后新的环境还能再调整为3分区2副本吗?
3、分割后如果修改zk的配置再重启会对新的环境造成影响吗?影响是什么?



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: Kafka版本0.10.0如何通过Api方式获取消费组Lag信息
下一条: kafka数据查询工具presto安装报com.facebook.presto.server.PrestoServer No factory for connector kafka

  • 1、把老的分区直接移到新的节点上即可,老节点不用保留任何分区和节点,副本和分区数根据你的情况自己决定
    2、同上
    3、不太清楚你要修改zk的什么信息。

    另外,如果你的业务允许的话,搭建3台干净的kafka集群,新消息写到新集群,这种最好(因为海量数据迁移可以会导致进行一周或者二周)。

    • 谢谢大佬的解答!但是kafka一直有其他公司传入的数据,不太好停业务把数据拷贝到新的节点上,想不用停业务同步数据的办法解决,所有才有上面的问题!另外想问一下,kafka3台服务器每台上大概80G的数据,同步的话需要多长时间?