java程序消费Kafka部分分区无法消费

发表于: 2019-08-01   最后更新时间: 2019-08-01  
  1. 基于Storm框架消费Kafka,一段时间后,有三个分区无法正常消费。
    org.apache.kafka.common.KafkaException: Received exception when fetching the next record from SESSION-RECORD-COMPLETED-LOG-5. If needed, please seek past the record to continue consumption.
    
    Caused by: org.apache.kafka.common.KafkaException: Record batch for partition SESSION-RECORD-COMPLETED-LOG-5 at offset 1926115083 is invalid, cause: Record is corrupt (stored crc = 2155685957, computed crc = 1377443207
    
    程序已经正常运行好几天,早上突然发现这个问题,重启任务后正常消费。
    请问下这是什么原因造成的呢?


您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容





发表于: 22天前   最后更新时间: 22天前   游览量:113
上一条: kafka-consumer-groups.sh无法查看到所有消费组
下一条: 异步发送消息到kafka失败

  • kafka什么版本?
    0.10.1.1版本有这个问题。

    • stored crc = 2155685957, computed crc = 1377443207 你看看消息保留的时间,offset落后太多,没来得及消费但是消息已经过期清理掉了。
        • 我当时看lag有十几万(数据量比较小一秒不到100条),三个分区的话合起来是三十几万,Consumer Instance Owner都是属于一台机器的。
            • log.retention.hours=168 log.retention.bytes=5368709120 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 这是我日志删除的配置。