请问有kafka应用在物联网领域的应用案例吗

kafka 物联网
光年 发表于: 2021-03-30   最后更新时间: 2021-03-30 10:40:17   180 游览
0

最近需要将kafka应用到物联网云平台上，目前有设备接入节点负责把数据推送到kafka，但是kafak里面的主题和分区应该怎么设计，才能做到要什么设备的数据消费者端就能获取到什么设备的数据？

设备数量可能在十万这个量级。



发表于 24天前
光年

  • 半兽人 24天前

    使用MQTT吧，kafka不适合这种场景。

    • 光年 -> 半兽人 . 24天前

      kafka服务器 和kafak生产者消费者都在内网。对外有设备接入服务处理设备的接入，设备接入服务把数据给kafka服务器。问题在kafak消费者获取数据的时候出现问题，要是消费者消费所有设备数据会撑不住。我想要能在消费者端能指定获取那个设备的数据，这里主题和分区要怎么设计的问题。性能可以降低一点。或者有什么更合适的MQ？
        • 半兽人 -> 光年 . 24天前

          消费者和生产者是相互独立的，分2个步骤说吧

          生产者
          1. 设备直接向kafka集群建立长连接发送信息（多少个设备）？
          2. 还是这数十万个设备 -> (你的程序，聚合，http API) -> kafka集群。
          消费者
          1. 消费者无所谓吧，只是去kafka poll消息。
            • 光年 -> 半兽人 . 24天前

              生产者采用的是数十万个设备 -> (你的程序，聚合，http API) -> kafka集群
              消费者poll消息这里应该怎么设计kafak的主题和分区。
              所有数据都在一个主题还是在（我的程序里）生产者端将不同设备的数据推送到不同的kafak主题
                • 半兽人 -> 光年 . 24天前

                  松耦合，各自类型的消息放到不同的topic里，由各自的消费者处理。

                  好处：

                  • 业务之间互不干扰影响
                  • 可根据业务量定制分区/消费者的数量
                    • 找不到想要的答案?

                    我要提问
                    相关
                    122
                    kafka isr丢失问题咨询
                    108
                    connector restful api 在kafka集群中只有一个能call通