kafka2.4.0的MirrorMaker2.0配置问题

呵呵哒 发表于: 2023-12-14   最后更新时间: 2023-12-14 17:21:55   275 游览

我在虚拟机上部署了两个单节点的kafka2.4.0,打算测一下MirrorMaker2.0同步消费偏移量的问题,启动命令是:

./kafka-mirror-maker.sh --consumer.config consumer.config --producer.config producer.config --whitelist ".*"

执行后,往源kafka的指定topic发送数据并消费, 如下:

screenshot

源kafka消费也正常

screenshot

但当我端开源kafka的消费, 启动目标kafka的消费命令时发现并没有按照源kafka消费端的偏移量来消费, 而是重新开始消费:

screenshot

想请问下这是不是说我使用的还是MirrorMaker1.0版本, 并没有真正的启用2.0版本?那么真正配置 MirrorMaker2.0 的流程是什么? 麻烦大佬给看看

发表于 2023-12-14
¥5.0

是的,kafka 2.4还不支持2.0,所以你的还是1.0版本。

解决,升级kafka版本

  • kafka 2.6+ 后是支持的。

可参考:https://cwiki.apache.org/confluence/display/KAFKA/KIP-382%3A+MirrorMaker+2.0

呵呵哒 -> 半兽人 2月前

谢谢大佬 我根据这个链接重新下载了2.70版本 也把参数重新配置了 但还是不行 执行起来倒是没报错 但数据也没过去 咱站里有相关的资料或案例么 我看看是不是我参数配置的有问题

呵呵哒 -> 半兽人 2月前

这个问题解决了 大佬给的这个网站其实不能实际配置mirror maker2.0 有部分参数没有写进去 导致配置不行

半兽人 -> 呵呵哒 2月前

赞,我会尽快完善这块资料。

你的答案

查看kafka相关的其他问题或提一个您自己的问题