kafka磁盘写满

发表于: 2020-01-06   最后更新时间: 2020-01-06  

kafka磁盘写满

kafka的数据目录磁盘写满后,删除此磁盘目录下其他非kafka数据后,分区数据还是不能成功写入,需要重启后分区数据才可以继续写入吗



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: 重启服务器后监听不到kafka9092端口号
下一条: kafka在partition数或者consumer数发生改变的时候,会发生消息乱序吗?

  • 1.磁盘删除文件后,释放文件资源后,broker进程不能识别磁盘的空闲资源吗,或者是要等一段时间后才会同步到broker进程中,如果重启broker就会立即触发更新,所以重启后就可以了
    2.分区数据还是不能成功写入 有具体的日志报错提示嘛?
    3.可以手动将分区目录下的比较老的已经消费了日志文件删除了,不要等异步线程自己去删除,然后是不是可以了
    4.Kafka有2个参数控制删除已经消费了的数据,一个是根据时间,一个是根据空间,参数是不是需要调整一下
    5.操作之前能先暂停生产数据流入

    我只能思考到这,我认为这是典型一个消息积压后,集群不可用的问题

    是的,broker上的topic已经认定为故障了。