【求解惑】kafka手动commit在并发消费下会有问题,有啥好的解决方案么

时飞 发表于: 2019-08-24   最后更新时间: 2019-08-26  

如提问,在并发消费kafka时,是否需要业务方自己去确保消费到的数据在crash等场景下不丢失?是否有些好的通用的方案可以分享?



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




时飞 发表于: 22天前   最后更新时间: 20天前   游览量:121

上一条: 使用Docker启动kafka创建topic异常
下一条: kafka 报错:Assign/Unassign was called 2 times after OnPartitionsAssigned was raised. It must be called at most once.

  • 没有办法,并发处理,如果在崩溃的情况下,丢掉的是一整并发块的消息。
    正常关闭时,可以设置销毁步骤,先停止消费,就不会丢了。