关于kafka几种threads的疑问

漂泊的美好 发表于: 2017-11-09   最后更新时间: 2017-11-09 20:37:16   3,531 游览

目前broker设置里的几种threads,主要有num.replica.fetchers、num.io.threads、num.network.threads以及num.streams这几种。
1、第一个问题,对于这几种该怎么去分配。如果一个服务器是32核,该怎么分配呢?
2、如果这几个线程设置加起来超过服务的核数,会不会导致kafka运行异常?我得意思是,如果某一个threads设置分配过多,会不会挤占其他threads的分配。

发表于 2017-11-09
添加评论

这几个参数的解释,在这个查看 https://www.orchome.com/472

1、 num.replica.fetchers,跟follower同步有关,一般topic主备,性能和容错都可保证。如果你是这种,默认即可,如果你的副本过多并分布不同的节点上,同步时间较长,可增加该值。

num.io.threads、num.network.threads是当客户端请求连接数过大,影响时间变成,但服务器性能强劲,则可递增。

2、不会,这样更紧凑的利用资源。

1、目前线上集群副本一般设置2-3个,但是数据量挺大的,topic也挺多的,对于32核服务器设置8-12个,是否合适?
2、刚刚看了配置,这几种参数加起来有92,远远超过32,真的不会影响吗?

不会的,你看linux那专栏,我常用的服务器检测。vmstat等,看看你系统的资源调度如何。

你的答案

查看kafka相关的其他问题或提一个您自己的问题