kafka服务器硬件配置选型

THEYUNG 发表于: 2022-06-23   最后更新时间: 2022-06-23 20:18:25   1,039 游览

目前用的是单机kafka

共有100g数据 235个分区 每个topic保存3天2g的数据

为了高可用高并发 想扩充为三个节点 请问硬件配置怎么选择?主要是内存

目前服务器200G磁盘 4g内存 jvm分配了2g group 47个 消费者235个

发表于 2022-06-23
添加评论

你调整3台之后,单台压力会减少2-3倍,所以不会出现瓶颈问题。

磁盘

  • ssd
  • 大小,每天产生的数据量 x 天数

内存

  • 8G

推荐:分区双副本,性能和健壮性最佳。

你现在这个量级,不需要调整以下参数,但可参考:

THEYUNG -> 半兽人 1年前

请问内存根据什么原则去选择 kafka和zoo的jvm设置为多少 现在单节点内存占用越来越高是什么原因

半兽人 -> THEYUNG 1年前

你单节点的时候,没有副本备份,现在多节点之后,数据是双份,所以内存也要增加。

内存大小基于几个点的累加:

  • 消费者和生产者同一时刻产生和获取的数据量(ps:有些程序需要消费历史消息)
  • flush消息到磁盘的页缓存。

内存占用越来越高,是kafka在充分利用空闲的内存:

  • 生产者的消息直接到内存,消息会在缓存里,直接发送到网卡给消费者使用。
  • kafka会充分利用服务器的内存(页缓存写入磁盘)。
  • kafka会尽量的利用当前机器空余的内存来进行缓存消息(包含页缓存),但是这些属于buff/cache,当有其他的进程需要缓存的时候,kafka会立即释放这些buff/cache,所以没啥影响,不会引起oom。

zookeeper内存不变,kafka你的也不需要调整,当你的消息大小变化了,或者消息有积压的时候,在调整。

你的答案

查看kafka相关的其他问题或提一个您自己的问题