kafka集群部署相关问题。

剑枫寒 发表于: 2019-09-12   最后更新时间: 2019-09-12  

问题

  1. kafka集群在跨机房部署的时候内部数据同步是不是很慢? 自己在测试过程钟,数据量稍微大的时候从一个机房leader把数据同步给另一个机房的副本时候,可能就得几秒钟。但是不跨机房部署的时候,又做不到高可用,请问有什么部署的建议?

  2. zk保存了kafka的meta相关信息,需不需要把zk集群和kafka集群分开机房部署? 如果两个部署在一个机房里,那部署在同一台机器上有没有问题?

  3. 还有对于zk集群和kafka集群部署的节点数有没有什么建议(我预打算zk和kafka都部署5个节点)



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka自带connect 和 confluent platform connect 区别
下一条: Kafka topic中有数据,但是消费者poll不到数据,重启下就可以poll到数据,想问下是什么原因

  • 1、跨机房慢是网络通讯的损耗,与kafka自身无关,kafka本身的建议就是不要跨网络。建议在另外一个机房做备份。

    2、同一个机房就可以了,同一台没问题的,我们也这样。

    3、zk至少5个,kafka就随意了,topic的分区主备即可,这样效率和耐用性都有相应的保障(除非你的数据量不大,可以增加副本数)。

    • zk生产环境开启jmx端口访问被检测有外网入侵危险:一个解决方法是设置防火墙,另一个我看是说可以开启身份验证,请问怎么开启身份验证?

        • 你们公司zk的jmx限制外网访问是怎么做的,还有我在网上搜了下说是搞两个jmxremote.access和jmxremote.password 然后修改zkServer.sh 不知道是不是这样搞的?