kafka集群zookeeper需要变更迁移,该怎么做?

℡┗☆→箜氣 发表于: 2020-05-24   最后更新时间: 2020-05-24 23:26:35   2,545 游览

版本:
kafka 2.1.1
zookeeper 3.4.10

日常工作中经常遇到集群服务器裁撤问题,需要大量的更换服务器ip地址,最近就有关于zookeeper集群替换问题

目前zookeeper集群有三台,需要替换掉一台服务器,我想请教下这个如何操作和kafka是如何进行变更zk连接的,一定要重启每一台kafka集群么?变更配置文件过zookeeper.connect=xxx:2181,zk重新连接的时候会重新去配置文件初始化这个配置么?(日常量级不小,不是很希望进行轮询重启)

发表于 2020-05-24

kafka启动的时候,会依赖配置文件中的zk,是需要依次重启。(如果你下了其中的zk,不重启也是没问题的,只要你配置中有1个zk是可用即可),配置多个zk就是这个目的。

老师收到,我这边还是不清晰的主要有两点:
1、 kafka配置文件里的zookeeper.connect是kafka第一次启动的时候就加载一次么?比如加载了三台zk的ip列表,如果不重启的话如果zookeeper.connect即使有过ip列表变更是不是也无法重新加载?
2、 如果线上用三台zk,是不是更换ip地址时zk一定会抖动一下? 因为即使更换一个ip,其它两台节点也要重启进行配置更新(因为时zk3.4.10,并没有自动加载功能)
3、 如果kafka配置文件中zookeeper.connect用名字调用,kafka如何配置自动刷新呢? 比如zk1 从1.1.1.1 变成2.2.2.2,如何配置可以做成自动刷新ip列表这种? 我们线上用的时jdk8,查的资料是默认30s刷新一次,但是没复现出来

1、是的
2、抖动不会,kakfa只用zk来达到自身集群的目的、
3、kafka用名字,也没有用的,kakfa与zk之间是长连接。

收到 感谢老师指点,受益匪浅

你的答案

查看kafka相关的其他问题或提一个您自己的问题