KAFKA-7870这个BUG在后续的哪个版本里修复了?

Jacky 发表于: 2019-09-03   最后更新时间: 2019-09-03  

生产KAFKA集群遇到 这个BUG,现象是KAFKA集群正常。ISR也全,分区leader无法写入和消费,分区follower同步数据失败,最终异常节点内存消耗很高,重启这一个节点后,恢复正常。检查所有日志,只有follower上面有以下同步异常日志,其他的日志均未发现异常。

[2019-09-02 10:03:30,051] WARN [ReplicaFetcher replicaId=8, leaderId=2, fetcherId=0] 
Error in response for fetch request (type=FetchRequest, replicaId=8, maxWait=500, minBytes=1, maxBytes=10485760, 
fetchData={
PortrayAys-10=(offset=0, logStartOffset=0, maxBytes=1048576, currentLeaderEpoch=Optional[4]), 
MMS-Metric-1=(offset=749142728, logStartOffset=749142728, maxBytes=1048576, currentLeaderEpoch=Optional[0]), 
dialtest-2=(offset=15316723, logStartOffset=15316723, maxBytes=1048576, currentLeaderEpoch=Optional[4]), 
DetectoCPU-3=(offset=0, logStartOffset=0, maxBytes=1048576, currentLeaderEpoch=Optional[2]), 
OneMinBL-17=(offset=0, logStartOffset=0, maxBytes=1048576, currentLeaderEpoch=Optional[4]), 
MetricRoute-0=(offset=0, logStartOffset=0, maxBytes=1048576, currentLeaderEpoch=Optional[2]), 
MetricBaseData-25=(offset=649178, logStartOffset=649178, maxBytes=1048576, currentLeaderEpoch=Optional[0]), 
Argus-RawData-8=(offset=20386963624, logStartOffset=20386403279, maxBytes=1048576, currentLeaderEpoch=Optional[0]), 
MetricBaseData-15=(offset=648652, logStartOffset=648652, maxBytes=1048576, currentLeaderEpoch=Optional[0]), 
PortrayAys-20=(offset=0, logStartOffset=0, maxBytes=1048576, currentLeaderEpoch=Optional[2]), 
NewProxyBaseData-5=(offset=0, logStartOffset=0, maxBytes=1048576, currentLeaderEpoch=Optional[2]), 
Detector-To-ES-8=(offset=31787842, logStartOffset=31787842, maxBytes=1048576, currentLeaderEpoch=Optional[4]), 
AIAnomaly-2=(offset=5628, logStartOffset=5628, maxBytes=1048576, currentLeaderEpoch=Optional[2]), 
AIPortray-22=(offset=0, logStartOffset=0, maxBytes=1048576, currentLeaderEpoch=Optional[4])}, 
isolationLevel=READ_UNCOMMITTED, toForget=, metadata=(sessionId=2013330601, epoch=INITIAL)) (kafka.server.ReplicaFetcherThread)

https://issues.apache.org/jira/browse/KAFKA-7870



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




Jacky 发表于: 12天前   最后更新时间: 12天前   游览量:85

上一条: kafka消费者组重新平衡后,消费不到消息
下一条: kafka配置“request.required.acks”=-1时,循环发送消息会出现消息丢失的情况。

    • 我直接从2.1.0版本升级到2.2.0, 2.1.1这两个版本中的一个,这要升级会有什么影响吗?版本之间的兼容性怎么样?

        • kafka_2.11-0.8.2.1
          kafka_2.10-0.10.2.0
          请问一下,这两个版本能兼容吗?我这边开始用的kafka_2.11-0.8.2.1,后来用kafka_2.10-0.10.2.0,但是消费端的依赖还是kafka_2.11-0.8.2.1,造成有时候offset提交失败,这种是兼容导致的吗?