请问有kafka应用在物联网领域的应用案例吗

光年 发表于: 2021-03-30   最后更新时间: 2021-03-30 10:40:17   180 游览
0

最近需要将kafka应用到物联网云平台上,目前有设备接入节点负责把数据推送到kafka,但是kafak里面的主题和分区应该怎么设计,才能做到要什么设备的数据消费者端就能获取到什么设备的数据?

设备数量可能在十万这个量级。



发表于 24天前

  • 使用MQTT吧,kafka不适合这种场景。

    • kafka服务器 和kafak生产者消费者都在内网。对外有设备接入服务处理设备的接入,设备接入服务把数据给kafka服务器。问题在kafak消费者获取数据的时候出现问题,要是消费者消费所有设备数据会撑不住。我想要能在消费者端能指定获取那个设备的数据,这里主题和分区要怎么设计的问题。性能可以降低一点。或者有什么更合适的MQ?

        • 消费者和生产者是相互独立的,分2个步骤说吧

          生产者
          1. 设备直接向kafka集群建立长连接发送信息(多少个设备)?
          2. 还是这数十万个设备 -> (你的程序,聚合,http API) -> kafka集群。
          消费者
          1. 消费者无所谓吧,只是去kafka poll消息。
            • 生产者采用的是数十万个设备 -> (你的程序,聚合,http API) -> kafka集群
              消费者poll消息这里应该怎么设计kafak的主题和分区。
              所有数据都在一个主题还是在(我的程序里)生产者端将不同设备的数据推送到不同的kafak主题

                • 松耦合,各自类型的消息放到不同的topic里,由各自的消费者处理。

                  好处:

                  • 业务之间互不干扰影响
                  • 可根据业务量定制分区/消费者的数量
                  • 找不到想要的答案?

                    我要提问
                    相关