kafka 发送 较大文件时速度慢怎么办?

夏天 发表于: 2020-11-06   最后更新时间: 2020-11-11  

我们要用 kafka 发送的数据很多,每天大概一亿条,每条大小在 2M 以内,
其中,有的主题处理的文件比较小,大约几K,生产者发送速度很快;

但是有的主题里处理文件比较大,大于 1M,生产者发送速度很慢,导致文件大量积压在磁盘上,
请问该怎么优化呢?

环境:kafka 2.3,jdk 1.8



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka 怎么在生产者发送数据之前,使用Java代码检测网络状态、检测kafka集群运行状态呢
下一条: 如何查看 kafka 生产者是否正常?

  • 因为kafka本身是不适合做这总单条消息很大的(默认1m,单条),所以调优的话,也只能加粗加大。

    1. batch.size
    2. message.max.bytes
    3. socket.request.max.bytes
    4. buffer.memory
    5. max.request.size
    6. request.timeout.ms
    7. ...参考下面链接,关注超时时间和max

    https://www.orchome.com/472
    https://www.orchome.com/511
    https://www.orchome.com/535