kafka消费topic过程中出现的个别bug情况如何处理?

Tobey 发表于: 2019-06-21   最后更新时间: 2019-06-29  

提问说明

前提:我要消费topic执行Java逻辑,逻辑完成后手动提交offset。 问题:如果我因为有bug所有的消费都抛异常没有提交offset,这样重启消费端即可。但是如果我只是个别的发生了错误后面的正常offset就会被提交覆盖。那出现异常的个别topic应该如何处理。



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容





发表于: 2月前   最后更新时间: 1月前   游览量:366
上一条: kafka Shrinking ISR后,集群某个节点打开文件数剧增
下一条: kafka如何做到先启动producer生产消息,然后再启动consumer消费消息呢?

  • 业务逻辑不要影响kafka的消费逻辑,kafka属于公共逻辑,把消息丢给业务层,业务自己处理报错就自己消化。

    • 这个topic是新增组成员时发出的,无法再次操作新增组成员了啊。难道我再单独写个接口专门手动请求处理这种有bug的消息。

        • 我的意思是一般处理这种个别bug的消息是怎么丢回topic的,是写一个专门的接口手动请求添加进去还是有其它好方法。