kafka集群部署相关问题。

剑枫寒 发表于: 2019-09-12   最后更新时间: 2019-09-12 17:39:00   1,717 游览

问题

  1. kafka集群在跨机房部署的时候内部数据同步是不是很慢? 自己在测试过程钟,数据量稍微大的时候从一个机房leader把数据同步给另一个机房的副本时候,可能就得几秒钟。但是不跨机房部署的时候,又做不到高可用,请问有什么部署的建议?

  2. zk保存了kafka的meta相关信息,需不需要把zk集群和kafka集群分开机房部署? 如果两个部署在一个机房里,那部署在同一台机器上有没有问题?

  3. 还有对于zk集群和kafka集群部署的节点数有没有什么建议(我预打算zk和kafka都部署5个节点)

发表于 2019-09-12
添加评论

1、跨机房慢是网络通讯的损耗,与kafka自身无关,kafka本身的建议就是不要跨网络。建议在另外一个机房做备份。

2、同一个机房就可以了,同一台没问题的,我们也这样。

3、zk至少5个,kafka就随意了,topic的分区主备即可,这样效率和耐用性都有相应的保障(除非你的数据量不大,可以增加副本数)。

剑枫寒 -> 半兽人 4年前

另一个机房做备份的意思是自己在手动写一个数据的同步节点,做到集群和集群之间的互相备份?

剑枫寒 -> 半兽人 4年前

get 多谢

剑枫寒 -> 半兽人 4年前

zk生产环境开启jmx端口访问被检测有外网入侵危险:一个解决方法是设置防火墙,另一个我看是说可以开启身份验证,请问怎么开启身份验证?

半兽人 -> 剑枫寒 4年前

zookeeper sasl acl 可以搜下。

剑枫寒 -> 半兽人 4年前

你们公司zk的jmx限制外网访问是怎么做的,还有我在网上搜了下说是搞两个jmxremote.access和jmxremote.password 然后修改zkServer.sh 不知道是不是这样搞的?

你的答案

查看kafka相关的其他问题或提一个您自己的问题