kafka过期日志不删除

发表于: 2021-08-30   最后更新时间: 2021-08-31 00:38:19   130 游览

发现topic部分partition的过期日志不删除,这些有问题的partition上副本大小不一致,过期的日志仍然保留,报了以下日志信息:

The cleaning for partition ads_applist_bigdatakfk-35 is aborted and paused

这个是什么原因呢?

想问问大家有啥排查的思路



发表于 19天前
添加评论
-> 半兽人 18天前

我这边的情况是26号进行过目录迁移,迁移完后就再也没有过日志删除了。刚看帖子上会恢复,但感觉这始终没有恢复。topic的日志保留时长为1天。有什么可以恢复的办法么

半兽人 -> 18天前

占了多少空间?
你到这里看看你配置的清理策略是什么。
Kafka Broker配置
搜索关键字 “cleaner"

-> 半兽人 18天前

delete策略(基于日志保留时长),从日志里看到这个中断后被恢复了。
不清理的问题是发生在进行完目录迁移完成之后。
通常会打印“Found deletable segments with base offsets”日志,迁移完之后就没有了。
迁移完之后的日志只有滚动一个新segement那些,没有异常日志出现。
主要是日志量挺大,我把第一个logsegment中的最大时间戳查了一下,都是24号的了。保留时长现在是2天

半兽人 -> 12天前

现在情况如何了?

你的答案

查看kafka相关的其他问题或提一个您自己的问题
找不到想要的答案?

我要提问
提问