開開新新

0 声望

这家伙太懒,什么都没留下

个人动态

半兽人 回复 開開新新 kafka报16 partitions have leader brokers without a matching listener 中 :

因为你这个警告是跟你当前的客户端(manager/logstash)之间产生的,你看看你做了什么操作,导致客户端存储的offset和服务器的不匹配。

但是,无关紧要,只是个警告,这个清理下客户端的数据即可,让客户端和kafka保持一致,不然客户端发送一个offset给kafka,kafka不认,就会报这个警告。不要老重启broker,基本都不是它的问题,一旦搭建好集群,我们都很多年不会动它。

3天前
半兽人 回复 開開新新 kafka讨论下最佳配置 中 :

第4个解释里面,调整缓存大小过大,jvm调整要调整,第5个那个链接是调整情况。你口子放大了,肯定会接收的量变大。
超时时间是消息压力增加了,接收时间就会变慢,所以要调整。
(ps:带宽如果接近满了,调整什么都不好使)

3天前
開開新新 回复 半兽人 kafka报16 partitions have leader brokers without a matching listener 中 :

我重启过manager,过了几分钟又会开始这种提示,直到我重启kafka和zk集群,然后出现KMOffsetCache,再重启才恢复。
之前 logstash也会有这种提示(partitions have leader brokers without a matching listener),一旦重启 logstash就恢复了,但是会丢一部分数据,为什么重启之后logstash不是从最后一次成功的offset位置开始新的消费?消费者接收到消息时是不是需要实现持久化? 我三个broker,如果想加什么配置需要滚动重启broker,每次重启一个broker对于消费者来说会有什么影响吗?

3天前
開開新新 回复 半兽人 kafka讨论下最佳配置 中 :

超时时间,消息大小和缓存大小,应该根据什么场景和思路来调整? 超时时间应该估量网络的延迟把?

3天前
4天前
收藏了 {{8166 | filter2}} · 11天前
订阅了 kafka 主题! · 1年前

(゚∀゚ )
暂时没有任何数据