kafka打开文件数太多

请叫我马里奥 发表于: 2017-11-07   最后更新时间: 2017-11-07 20:08:41   6,875 游览

您好!
我的kafka今天下午的时候,一直报java.io.IOException: Too many open files。我的kafka就是一个单机版的,查看连接数也不多,就十个左右,但是打开文件数有70多万个,请问可能是什么原因造成的呢,是不是topic太多的原因呢,我在log.dirs日志目录里面看了一下,大概有400多个文件夹。配置文件的配置:

  num.network.threads=8
  num.io.threads=8
  socket.send.buffer.bytes=102400
  socket.receive.buffer.bytes=102400
  socket.request.max.bytes=104857600
  num.partitions=1
  num.recovery.threads.per.data.dir=1
  log.flush.interval.messages=10000
  log.flush.interval.ms=1000
  log.retention.hours=8765
  log.segment.bytes=1073741824
  log.retention.check.interval.ms=300000
  zookeeper.connection.timeout.ms=6000

另外我重启kafka也不能解决这个问题,现在我应该怎么办。通过lsof查看发现确实文件太多了,log.retention.hours这个参数设置太长的原因?

发表于 2017-11-07
添加评论

这个是linux系统的设置,你调整下openfile。

linux调一下openfile,但这个不能解决根本问题,数据量一旦多了还是爆炸。
1.日志清除策略时间缩短
2.增加机器之后增加partition,负载均衡,各个机器的数据就不会太多

半兽人 -> 肖跃飞 5年前

你这个量得有多大。6.5W都占完了?

你的答案

查看kafka相关的其他问题或提一个您自己的问题