—— Only、

0 声望

这家伙太懒,什么都没留下

个人动态

—— Only、 回复 半兽人 kafka重复消费了主题的所有分区的所有偏移量 中 :
我在测试环境和生产环境用的消费者组是一样的,而且kafka服务我们生产和测试是同一个服务器,但生产环境和测试环境用的topic不一样,这个有影响吗
9天前
半兽人 回复 —— Only、 kafka重复消费了主题的所有分区的所有偏移量 中 :
1、如果有新的消费者组,是为了排查是否你的程序导致的每次组名不同导致每次都拉取新的消息 2、排查自己的消费者组中的成员是否都是你的,如对应的ip,是否都是属于你自己的消费者程序。(有些开发者代码都是互相复制到,就遇到过配置一样的消费者组) 3、本来我是怀疑提交offset的时候,提交的是老的offset上了,导致的重复消费,但是代码我之前写的就没问题了。 所以,现在的排查方式是观察消费者的整体情况,除了通过上面的命令,也可以直接安装一个kafka monitor监控查看。
9天前
—— Only、 回复 半兽人 kafka重复消费了主题的所有分区的所有偏移量 中 :
对的,“组之间都是全量拉取消息的”,我没明白你说的“确认下是否有新的消费者组”,我查出了所有消费者组,怎么确定是否有新的消费者组呢?如果有新的消费者组能说明什么呢?也有可能有的组是其他系统在用,但不是订阅的我的主题啊
9天前
半兽人 回复 —— Only、 kafka重复消费了主题的所有分区的所有偏移量 中 :
先不用关心其他消费者组,组之间都是全量拉取消息的。
9天前

(゚∀゚ )
暂时没有任何数据