kafka og.retentiton.hours设置无效

风清 发表于: 2019-09-22   最后更新时间: 2019-09-22 20:46:55   2,398 游览

Retention设置无效

最初该主题有32个partition，后来加到128个

$ kafka-topics.sh --zookeeper localhost:2181 --describe  --topic  test | head
Topic:test    PartitionCount:128    ReplicationFactor:1    Configs:message.timestamp.type=LogAppendTime,delete.retention.ms=86400000,compression.type=snappy,retention.bytes=10737418

server端的log.retentiton.hours是设置的24小时

但是from-beginning我consumer消费出来竟然是周四上午10点的事件时间戳(今天是周日)

不清楚是哪里设置的有问题，导致过期日志未能正常删除

kafka
发表于 2019-09-22
风清

你的log.retention.hours打错了，可能是你手打的，配置是正确的，另外，配置好后，所有的kafka集群都重启过了吧？
可以看下这篇文章：https://www.orchome.com/28

回复
回答于 4年前
半兽人
风清 -> 半兽人 4年前

嗯，是这里描述时候手敲错了，配置文件里拼写是对的log.retention.hours=24

0 0 回复

啊，我知道怎么回事了。我把partition变成128后，每个partition一致不能触发log.segment.bytes=1073741824的分片，retention的清理是基于分片做的，所以迟迟不能清理。把分片的阈值/时间间隔改小一些即可。

回复
回答于 4年前
风清
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。