kafka过期日志不删除

发表于: 2021-08-30   最后更新时间: 2021-08-31 00:38:19   1,000 游览

发现topic部分partition的过期日志不删除,这些有问题的partition上副本大小不一致,过期的日志仍然保留,报了以下日志信息:

The cleaning for partition ads_applist_bigdatakfk-35 is aborted and paused

这个是什么原因呢?

想问问大家有啥排查的思路

发表于 2021-08-30
  • 你好 请问这个问题的原因找到了吗?我这边也有一个节点的日志过期不删除,找不到原因。0 1年前 回复
添加评论
-> 半兽人 2年前

我这边的情况是26号进行过目录迁移,迁移完后就再也没有过日志删除了。刚看帖子上会恢复,但感觉这始终没有恢复。topic的日志保留时长为1天。有什么可以恢复的办法么

半兽人 -> 2年前

占了多少空间?
你到这里看看你配置的清理策略是什么。
Kafka Broker配置
搜索关键字 “cleaner"

-> 半兽人 2年前

delete策略(基于日志保留时长),从日志里看到这个中断后被恢复了。
不清理的问题是发生在进行完目录迁移完成之后。
通常会打印“Found deletable segments with base offsets”日志,迁移完之后就没有了。
迁移完之后的日志只有滚动一个新segement那些,没有异常日志出现。
主要是日志量挺大,我把第一个logsegment中的最大时间戳查了一下,都是24号的了。保留时长现在是2天

半兽人 -> 2年前

现在情况如何了?

你的答案

查看kafka相关的其他问题或提一个您自己的问题