kafka与kubernetes做任务分发groupid名字如何固定

一如乞人不需要形象 发表于: 2021-01-14   最后更新时间: 2021-01-14  

大佬,我们用kafka做任务分发,任意一个api收到request,发到kafka中,k8s中多个instance订阅这个topic,处理request.所以需要不同的group Id订阅,最简单的方法就是用key+UUID,但这样会导致测试重启太多的时候,group id暴增 ,不便管理,所以想问问:

  1. 有没有方法,自动产生固定的groupId,比如k8s中10个instance,起来后自动得到groupId0-10.

  2. 我也知道 kafka会自动删除 很久不用的groupId, 相关参数在哪?可以更快的删除这个groupId.



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka对接科来提取数据
下一条: Kafka启用多个机制进行权限校验,Kerberos校验成功,但是SCRAM和PLAIN报错

  • 1、kubernetes的StatefulSet就是固定的名字,使用它就可以了。
    2、不行,现在存储在一个叫__consumer_offsets的topic里,跟log清理一样的流程。