kafka client 无法消费多个topic

阳光男孩 发表于: 2016-05-25   最后更新时间: 2016-05-25  

kafka client 无法消费多个topic


有两个topic 分别有3个partition 我在客户端分别定义了6个consumer 只有先创建的consumer对应的topic能被消费到



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka启动后,关掉控台后,集群就挂了
下一条: topic replication 同步失败 急!!

  • 如果你的2个topic,分别有3个分区,你在客户端订阅的6个consumer,只有先创建的consumer能拿到对应的topic,正常的话是3个consumer订阅topicA,3个consumer订阅的是topicB,建议你检查下消费者订阅的是否有问题。

    你仔细观察,跟2个topic无关。
    比如,一个topic有3个partition,那么最多只能有3个consumer能消费到,其余的consumer永远拿不到消息(除非拿到消息的consumer挂了)。
    简单一点,能获得消息的consumer的数量 == partition的数量。

    • 我也觉得是这个问题导致的,但如果每个topic对应的partition是独立的那么,我这里定义每个topic有3个partition,那么初始化6个consumer应该满足这条规则,但只有先定义的那个topic的3个consumer才能消费,另一个topic消费不到