kafka一个消费组对应着一个接口,我需要去获取这些数据呢?

scattered and scattered 发表于: 2020-02-10   最后更新时间: 2020-02-10  

大佬们。问个问题,一个消费组对应着一个接口,我需要去获取这些数据呢?

我想是说写个配置表,然后隔1-2秒去扫描这表,替换成对应的消费组,那么有个问题

消费者可以隔一两秒去获取数据吗?怎么能保证获取的数据位置和上次是一致的呢?

还有一种方法一个接口启动一个消费组,循环获取数据,这样也会导致进程太多了,会不会影响进程
哪种方法比较好呢?或者有没有其他更好的建议呢



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: Kafka消费者崩溃,有什么处理办法么?
下一条: kafka consumer lag 为负数

  • 没太理解你的问题,能在详细描述一下你的场景吗

    • 大佬,场景是这样的,我们是消费者,需要从生产者获取数据,然后我们是按照一个接口对应着一个消费组,一共有24个接口。我想问怎么获取这些数据呢??我想了两种方法,1.写个配置表,然后隔1-2秒去扫描这表,从表中获取对应的消费组,隔断的时间,不是会导致数据获取不完整,那么消费者隔一两秒去获取数据,怎么能保证获取的数据位置和上次是一致的呢?

        • 有30个topic,2种方式,第一种每隔1、2秒去挨个拉取一遍,然后释放进程。kafka是通过默认消费者组名来保障消费位置的。
          我推荐第二种,其实这种和你的第一种差不多,消费者与Kafka建立长连接之后,主动向kafka拉取的消息,而且1、2秒的间隔,如果你用第一种会反复建立连接关闭连接,这种是最消耗性能的。