kafka og.retentiton.hours设置无效

风清 发表于: 2019-09-22   最后更新时间: 2019-09-22  

Retention设置无效

最初该主题有32个partition,后来加到128个

$ kafka-topics.sh --zookeeper localhost:2181 --describe  --topic  test | head
Topic:test    PartitionCount:128    ReplicationFactor:1    Configs:message.timestamp.type=LogAppendTime,delete.retention.ms=86400000,compression.type=snappy,retention.bytes=10737418

server端的log.retentiton.hours是设置的24小时

但是from-beginning我consumer消费出来竟然是周四上午10点的事件时间戳(今天是周日)

不清楚是哪里设置的有问题,导致过期日志未能正常删除



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: 采用低版本Kafka,高版本的API的写入会有问题吗?
下一条: kafka V2.1.1 poll 方法过时

  • 啊,我知道怎么回事了。我把partition变成128后,每个partition一致不能触发log.segment.bytes=1073741824的分片,retention的清理是基于分片做的,所以迟迟不能清理。把分片的阈值/时间间隔改小一些即可。

    你的log.retention.hours打错了,可能是你手打的,配置是正确的,另外,配置好后,所有的kafka集群都重启过了吧?
    可以看下这篇文章:https://www.orchome.com/28