kafka 发送 较大文件时速度慢怎么办?

夏天 发表于: 2020-11-06   最后更新时间: 2020-11-11 17:41:07   427 游览

我们要用 kafka 发送的数据很多,每天大概一亿条,每条大小在 2M 以内,
其中,有的主题处理的文件比较小,大约几K,生产者发送速度很快;

但是有的主题里处理文件比较大,大于 1M,生产者发送速度很慢,导致文件大量积压在磁盘上,
请问该怎么优化呢?

环境:kafka 2.3,jdk 1.8



发表于 6月前

因为kafka本身是不适合做这总单条消息很大的(默认1m,单条),所以调优的话,也只能加粗加大。

  1. batch.size
  2. message.max.bytes
  3. socket.request.max.bytes
  4. buffer.memory
  5. max.request.size
  6. request.timeout.ms
  7. ...参考下面链接,关注超时时间和max

https://www.orchome.com/472
https://www.orchome.com/511
https://www.orchome.com/535

夏天 -> 半兽人 6月前

非常感谢

找不到想要的答案?

我要提问
相关
提问