喝咖啡的蚂蚁

0 声望

这家伙太懒，什么都没留下

个人动态
  • 喝咖啡的蚂蚁 回复 半兽人 在 kafka消费者Java客户端 中 ：

    好的，谢谢大佬

    4年前
  • 半兽人 回复 喝咖啡的蚂蚁 在 kafka消费者Java客户端 中 ：

    是offset提交的时候，由于超过了时间，导致offset提交失败了。
    参考：

    props.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG,60000);
props.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG,60000);
props.put(ConsumerConfig.FETCH_MAX_WAIT_MS_CONFIG,60000);
props.put(ConsumerConfig.REQUEST_TIMEOUT_MS_CONFIG,70000);
    4年前
  • 喝咖啡的蚂蚁 回复 半兽人 在 kafka消费者Java客户端 中 ：

    当某段时间内消息比较少，累积到minBatchSize=200耗时可能比较长，太久没有提交offset，此时会不断poll,这里应该设置设置一个最多poll多长时间呢？比如：当本次addToList当30s还没有到达minBatchSize=200就可开始业务处理然后更新offset。
    kafka poll 是必须在30s以内更新offset吗，是由哪个参数控制的呢。

    4年前
  • 半兽人 回复 喝咖啡的蚂蚁 在 kafka消费者Java客户端 中 ：

    你poll之后，要手动提交offset的。

    4年前
  • 喝咖啡的蚂蚁 在 kafka消费者Java客户端 发表评论：

    你好，请问下“手动控制偏移量”这章节的样例minBatchSize =200的场景下是否会poll到重复的消息add到List集合？因为直观感觉来说，poll到消息后offset没更新，那下次poll到已经poll过的partition的消息后应该还是旧的那个offset的数据。求解答。

    4年前