kafka优化问题

发表于: 2020-09-08   最后更新时间: 2020-09-08  

kafka优化问题

想问一下以下优化程度有多大以及有没有必要做对应的优化

1:系统零拷贝

2:kafka 运行所在服务器页缓存调大,page cache,一般可以以文件大小为准

3:禁止 atime 的更新(mtime 不需要禁止)

4:swapiness的值进行调节,默认60;
如果设置成0则关闭虚拟内存交换,可能会OOM。建议设置为 10 - 20 

5:JVM参数优化


您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka消费者订阅topic为什么重复消费?
下一条: kafka connect 升级步骤

  • 官方的jvm设置:
    https://www.orchome.com/42

    JVM优化是在kafka-server-start.sh的脚本的 29修改参数为:

    export KAFKA_HEAP_OPTS="-Xmx6g -Xms6g -XX:MetaspaceSize=96m -XX:+UseG1GC
    -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:G1HeapRegionSize=16M
    -XX:MinMetaspaceFreeRatio=50 -XX:MaxMetaspaceFreeRatio=80"