请问有kafka应用在物联网领域的应用案例吗

光年 发表于: 2021-03-30   最后更新时间: 2021-06-10 09:47:38   1,689 游览

最近需要将kafka应用到物联网云平台上,目前有设备接入节点负责把数据推送到kafka,但是kafak里面的主题和分区应该怎么设计,才能做到要什么设备的数据消费者端就能获取到什么设备的数据?

设备数量可能在十万这个量级。

发表于 2021-03-30

使用MQTT吧,kafka不适合这种场景。

光年 -> 半兽人 3年前

这个物联网项目不涉及MQTT协议,用的是modbusTCPNB-IOT.

半兽人 -> 光年 3年前

因为kafka所有的连接都是长连接,特别是互联网的场景就更不合适。

半兽人 -> 光年 3年前

互联网(指外网场景)

光年 -> 半兽人 3年前

kafka服务器 和kafak生产者消费者都在内网。对外有设备接入服务处理设备的接入,设备接入服务把数据给kafka服务器。问题在kafak消费者获取数据的时候出现问题,要是消费者消费所有设备数据会撑不住。我想要能在消费者端能指定获取那个设备的数据,这里主题和分区要怎么设计的问题。性能可以降低一点。或者有什么更合适的MQ?

半兽人 -> 光年 3年前

消费者和生产者是相互独立的,分2个步骤说吧

生产者

  1. 设备直接向kafka集群建立长连接发送信息(多少个设备)?
  2. 还是这数十万个设备 -> (你的程序,聚合,http API) -> kafka集群。

消费者

  1. 消费者无所谓吧,只是去kafka poll消息。
光年 -> 半兽人 3年前

生产者采用的是数十万个设备 -> (你的程序,聚合,http API) -> kafka集群
消费者poll消息这里应该怎么设计kafak的主题和分区。
所有数据都在一个主题还是在(我的程序里)生产者端将不同设备的数据推送到不同的kafak主题

半兽人 -> 光年 3年前

松耦合,各自类型的消息放到不同的topic里,由各自的消费者处理。

好处:

  • 业务之间互不干扰影响
  • 可根据业务量定制分区/消费者的数量
光年 -> 半兽人 3年前

嗯嗯,谢谢大佬

你的答案

查看kafka相关的其他问题或提一个您自己的问题