kafka Shrinking ISR后,集群某个节点打开文件数剧增

﹏随遇而安ヾ 发表于: 2019-06-26   最后更新时间: 2022-05-25 19:54:39   3,883 游览

kafka集群打开文件数突然剧增,原来一直很稳定在2K左右,突然飙升到3W多,然后导致kafka集群无法写入。偶尔就会出现一次,需要重启节点才能恢复。

目前观察到的日志如下

Shrinking ISR for partition [__consumer_offsets,49] from 232,236,234 to 234
Shrinking ISR for partition [__consumer_offsets,44] from 234,236 to 234
Shrinking ISR for partition [FlowStatisticsTopic,3] from 234,233 to 234 
Shrinking ISR for partition [LinkTrackingTopic,4] from 232,236,234,233 to 234

这种的比较集中,然后接着,就出现

Connection to 233 was disconnected before the response was read
Connection to 234 was disconnected before the response was read
Connection to 232 was disconnected before the response was read

这样的错误,但是其它都自定连接上了234这就会报出Too many open files。

请问下,这种问题是由什么导致的。

发表于 2019-06-26
添加评论

你好请问问题解决了吗,我这边也遇到了

应该是版本的bug,我升级之后就没有出现过了

往上找找看看其他的错误信息,这个故障是被其他故障引起的 还是主动触发的。


追加,你的问题是

Too many open files

导致的,说明客户端连接被占用完了,理论上客户端是长连接,占不了多少,检查你的客户端程序。

目前没有看到相关的。。现在我做了监控,当打开文件数大于3W,就重启该kafka的broker

看着像。。你有碰到过吗

碰到了,你可以看一下之前的日志是否有其他错误,我的是看到跟zookeeper连接失败之后就报这些错误的。

你的答案

查看kafka相关的其他问题或提一个您自己的问题