kafka自带connect 和 confluent platform connect 区别

守护轻鸟 发表于: 2019-09-18   最后更新时间: 2019-09-18 22:50:16   2,559 游览

项目中需要把kafka中的数据写入到es、mysql中，会涉及到一些简单的etl数据清洗，由于不想自己写接收kafka，入es这种重复代码，只想关注etl数据清洗部分，后来了解到了kafka connect，调研了一下，发现kafka安装后本身就带有connect模块，后来又了解到了另外一个平台confluent platform，这里边也会有kafka的connect ,目前调研阶段，不知道这两个

kafka
发表于 2019-09-18
守护轻鸟
添加评论

confluent platform不连接额，只知道是为企业提供服务的，但是底层都是基于kafka的原生功能。
你可以用logstash 或者 filebeat，我们就是这么用的。

回复
回答于 4年前
半兽人
守护轻鸟 -> 半兽人 4年前

我的业务场景是接收kafka消息，然后做一些数据清洗，最后存到es中。logstash 和 filebeat 是用来发送消息到kafka吧？

0 0 回复
半兽人 -> 守护轻鸟 4年前

过滤（正则），logstash 和 filebeat 都可以的。
logstash的我整理的太少了
https://www.orchome.com/471

0 0 回复
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。