kafka集群主备同步以及流量切换

剑枫寒 发表于: 2019-11-12   最后更新时间: 2019-11-12 16:54:28   2052 游览

使用kafka自带的 MirrorMaker可以使两个机房的集群达到实时同步,但是怎么在主集群出故障的时候把流量切换到备份集群,然后在主集群恢复正常的时候在从备份切回到主机群,一般的做法是什么?



发表于 1年前
添加评论

做不到直接切额。

  1. kafka是长连接,需要重新建立连接(取决于客户端)
  2. 即使指向了新的kafka集群,消费者也重新建立链接了,2个集群之间的offset不同,也会导致重复消费或丢失消息。
剑枫寒 -> 半兽人 1年前

因为我现在的3个broker都是部署在一个机房,所以可以说这个集群是个单点,一旦机房网络出问题,整个集群都会有影响,那怎么做到集群的稳健以及高可用?

半兽人 -> 剑枫寒 1年前

我想不到好的方法,即使冷备,也涉及到很多数据同步的问题。

剑枫寒 -> 半兽人 1年前

那你们公司的kafka集群也是部署在一个机房的? 还是有什么其它的策略来保证高可用

半兽人 -> 剑枫寒 1年前

嗯,同一个机房。
我们还未考虑到整个机房不可用。
如果整个机房不可用,这样不仅仅是kafka,数据库应用同步都是问题。

找不到想要的答案?

我要提问
相关
相关
提问