Kafka Connect的用法

原创
半兽人 发表于: 2016-08-17   最后更新时间: 2021-08-12 10:27:41  
{{totalSubscript}} 订阅, 39,187 游览

8. Kafka Connect(Kafka连接器)

8.1 概述

Kafka Connect 是一个可扩展、可靠的在Kafka和其他系统之间流传输的数据工具。它可以通过connectors(连接器)简单、快速的将大集合数据导入和导出kafka。Kafka Connect可以接收整个数据库或收集来自所有的应用程序的消息到Kafka Topic。使这些数据可用于低延迟流处理。导出可以把topic的数据发送到secondary storage(辅助存储也叫二级存储)也可以发送到查询系统或批处理系统做离线分析。

Kafka Connect功能包括:

  • Kafka连接器通用框架:Kafka Connect 规范了kafka与其他数据系统集成,简化了connector的开发、部署和管理。

  • 分布式和单机模式 - 扩展到大型支持整个organization(公司、组织)的集中管理服务,也可缩小到开发,测试和小规模生产部署。

  • REST 接口 - 使用REST API来提交并管理Kafka Connect集群。

  • 自动的offset管理 - 从connector获取少量的信息,Kafka Connect来管理offset的提交,所以connector的开发者不需要担心这个容易出错的部分。

  • 分布式和默认扩展 - Kafka Connect建立在现有的组管理协议上。更多的工作可以添加扩展到Kafka Connect集群。

  • 流/批量集成 - 利用kafka现有的能力,Kafka Connect是一个桥接流和批量数据系统的理想解决方案。

更新于 2021-08-12
在线,1小时前登录

钱BOB 6年前

麻烦我想问下,kafka connect 和kafka conusmer的区别是什么?

半兽人 -> 钱BOB 6年前

connect 一般用于系统之间的整体导入导出。consumer是应用级别处理使用。

钱BOB -> 半兽人 6年前

我想把kafka的数据导出到elasticsearch,用哪种更好。大概一天数据量4GB。 两者在吞吐量,稳定性,HA,断点恢复有什么区别?

半兽人 -> 钱BOB 6年前

logstash.

查看kafka更多相关的文章或提一个关于kafka的问题,也可以与我们一起分享文章