kafka集群主备同步以及流量切换

剑枫寒 发表于: 2019-11-12   最后更新时间: 2019-11-12  

使用kafka自带的 MirrorMaker可以使两个机房的集群达到实时同步,但是怎么在主集群出故障的时候把流量切换到备份集群,然后在主集群恢复正常的时候在从备份切回到主机群,一般的做法是什么?



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka-simple-consumer-shell.sh脚本不存在了,如何解析__consumer_offsets日志
下一条: 0.8.2.1版本的kafkaclient,生产消息,获取metadata超时,超时时间60000 ms

  • 做不到直接切额。

    1. kafka是长连接,需要重新建立连接(取决于客户端)
    2. 即使指向了新的kafka集群,消费者也重新建立链接了,2个集群之间的offset不同,也会导致重复消费或丢失消息。
    • 因为我现在的3个broker都是部署在一个机房,所以可以说这个集群是个单点,一旦机房网络出问题,整个集群都会有影响,那怎么做到集群的稳健以及高可用?