kafka异步发送很耗时怎么办?

# 发表于: 2021-12-28   最后更新时间: 2021-12-28  

提问说明

消费topic分区是48,发送topic分区是24,服务目前有6个节点,消费线程是8

配置
screenshot

发送日志(高峰期会偶尔出现很耗时的情况)
screenshot

报错信息
screenshot



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka mirrorMaker可以做跨版本的kafka集群数据同步吗
下一条: 付费下载了使用工具里面的Kafka客户端代码, 我该怎么集成到项目呢?

  • linger.ms太长了,最好是1-10,保持短频快。

    • 我知道你指的什么了,你指的是1、2节点上的消费者们,发送到kafka的时候,老是阻塞。
      1、一台消费节点上有8个消费者,6台*8 = 48个消费者。
      2、查看主题分区的消息是否平均(1、2节点拿到对应分区的消息是否比其他节点多)。
      3、提高kafka集群的吞吐量,可参照 https://www.orchome.com/41 (关注最大接收缓存等能力)
      4、kafka的能力瓶颈在物理资源能力上,如果物理接近满负荷,就无法在优化了,只能通过扩kafka节点。