Kafka topic中有数据,但是消费者poll不到数据,重启下就可以poll到数据,想问下是什么原因

奥维尔的教堂 发表于: 2019-09-12   最后更新时间: 2019-09-12  


您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka集群部署相关问题。
下一条: Kafka消费者配置问题

  • 兄弟 你得提供一些代码呀

    • Properties props = new Properties();
        props.put("max.partition.fetch.bytes", "1048576");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); 
        props.put("auto.offset.reset", "latest");
        props.put("request.timeout.ms", "100000"); 
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("group.id", "DataTMR_hbase");
        props.put("enable.auto.commit", "false");
        props.put("bootstrap.servers", "xxxxxx");
        Consumer<string,string> consumer = new KafkaConsumer<string,string>(props);
        consumer.subscribe(topicnamelist);
        whiletrue){
                  ConsumerRecords<string,string> consumerRecords = consumer.poll(1000);
        }
      }
      

      代码主要就是这段

        • 还有个问题想请教下 ,一个topic有三个分区,我创建了一个consumer去poll数据,然后放进queue队列里面,多线程消费这个队列。我想改成三个consumer去消费,如果用subscribe订阅,会不会造成reblance