Kafka 加载受损索引文件出错 Attempt to append an offset (49760738) to position 3006 no larger than the last offset appended (49760738)

起风了 发表于: 2021-09-08   最后更新时间: 2021-09-08 19:22:55   3,603 游览

kafka 2.6.2 进程异常退出

1、异常退出,导致索引文件受损,导致发送端耗时升高,再次重启,加载到该文件出错。
2、只有这个topic有问题:__consumer_offsets

Error processing append operation on partition __consumer_offsets-21 (kafka.server.ReplicaManager)
org.apache.kafka.common.errors.InvalidOffsetException: Attempt to append an offset (49760738) to position 3006 no larger than the last offset appended (49760738) to /opt/esearch/kafka_cluster/kaf
ka-logs/__consumer_offsets-21/00000000000049669327.index.

4、错误信息如上,集群超半数节点都出现了该问题。
5、重启Kafka节点只能短暂修复,半个小时后还是会异常。也曾替换正常节点的索引,无效。希望有一种解决办法。

发表于 2021-09-08
添加评论

我使用的kafka 2.7.1版本也遇到了这种问题,请问您查到问题原因和解决方法了吗?

kafka 2.6.2不该出现这样的问题,是老版本才会有。 你可能需要`删除错误日志文件`才能恢复。 丢失消息和引发的情况,可参考:[kafka节点非正常退出后重启失败](https://www.orchome.com/6822)
Cm -> 半兽人 2年前
我使用的kafka 2.7.1也遇到了这种问题,并不是只有低版本才会出现
你的答案

查看kafka相关的其他问题或提一个您自己的问题