kafka产生大量重复消息

fnh 发表于: 2020-06-16   最后更新时间: 2020-06-16  

各位好!

我在centOS7,用CDH,部署了kafka集群。kafka是0.11版本的,是CDH官网的发布版jar包,不是kafka官网的源码。

问题描述:

按照kafka producer的默认配置,使用produce api,向随便一个主题发送消息,有很大概率出现大量的消息重复(每分钟重复几万条),即使我断开了kafka的producer,消息还是会自动生成发送,直到服务器的硬盘空间都被占满(200G左右),或者删除掉目标主题(有时候删除目标主题并不管用,还得重启下zookeeper或者kafka服务)。我看了生成的消息,所有的消息是完全一样的。

已经尝试的方法:

  1. producer request.required.acks设置为0,不管用;
  2. 查看了kafka broker的日志,没有发现有效的信息,日志上只是提示消费者上下线和再平衡的消息。

头疼了好久,kafka服务是部署在公司的内网。

各位老哥有没有碰到类似问题的,请赐教T T。



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka消费不到数据,报如下信息,是什么问题呢Node 1044 was unable to process the fetch request with (sessionId=1031872821, epoch=120677): FETCH_SESSION_ID_NOT_FOUND.
下一条: 删除kafka数据目录

  • 1、kafka消息重复,多半是程序写的有问题(多线程)。
    2、你拿官方提供的kafka例子去跑,不要改动任何代码,看看消息是否重复。
    https://www.orchome.com/189

    • 嗯嗯,忘了说了,我之前试过console-producer,console-producer就生产一条消息,还是存在我上面描述的消息重复的问题。。
      你说的官方例子我也试过。。

        • kafka-console-producer --broker-list localhost:9092 --topic test0
          之后出现一串信息,然后出现输入提示符'>'
          之后我随便输入一条消息,比如'aaaaa',
          然后就会收到很多条,每分钟几万条吧,重复的'aaaaa',除了时间戳之外其余的都是一样的

            • 换了2.5官网版本搭了一个测试服务没有出现这个问题了。。不知道cdh里面集成的是哪一个版本的kafka,实在不行只能换版本重新部署了,,我是刚接触kafka没多久的,,这个问题真是把我愁坏了