Kafka集群是有必要做raid5?

I'm CxY 发表于: 2019-11-09   最后更新时间: 2019-11-09 11:49:24   2,511 游览

生产环境一般用的是多块SATA盘裸盘挂载
现在上层要求外面安装的Kafka集群必须使用raid5
考虑到本身Kafka有副本机制且有负载均衡的机制 感觉没什么做raid的必要

上层给的raid的优点

  • 高IOPS
  • 避免单盘出现数据热点
  • RAID5坏一块盘业务不感知

我的理解

  • 磁盘本身就是易损耗品,单盘虽不感知,坏2块盘的话RAID5就损坏了
  • 即使是发现单盘并修复,仍存在换盘后的数据恢复问题,反而会拖慢IO
  • Kafka本身有副本机制,再做raid没有必要

所以 想请教各位大佬 能否从更专业的角度说明下是否应该/不应该做raid5?

发表于 2019-11-09

kafka的耐用性跟副本相关,就不在多说了(坏的的盘,有副本即可)。
kafka数据不是实施落地的,借助os自身flush及缓存来提升整体性能。(kafka团队认为副本提供的保证比同步到本地磁盘更强)

支持你的理解,抛开性能外,即使发现单盘并修复,修复后的数据已经不对称了,依靠kafka的自身副本机制即可。

参考:
https://www.orchome.com/43
https://www.orchome.com/45
https://www.orchome.com/46

你的答案

查看kafka相关的其他问题或提一个您自己的问题