写点什么

HiveMQ 开源:把 MQTT 和 Kafka 集成在一起

  • 2019-05-06
  • 本文字数:1029 字

    阅读完需:约 3 分钟

HiveMQ开源:把MQTT和Kafka集成在一起

HiveMQ 最近发布了HiveMQ Enterprise Extension for Kafka,旨在集成 Kafka 和 MQTT,以实现物联网应用程序的实时流。


HiveMQ Enterprise Extension for Kafka 是 HiveMQ broker 的 Kafka 协议实现,支持 broker 充当 Kafka 客户端,并让来自物联网设备的消息流式传输到一个或多个 Kafka 集群中。




HiveMQ 首席技术官 Dominik Obermaier 表示,Kafka 可以为物联网解决方案带来很多价值,因为它可以可以处理大量实时数据的能力,并提供了高吞吐量和低延迟。


有些受访的 HiveMQ 客户表示,他们有数百万台设备和消息吞吐量非常高的集群,我们发现很有必要为创建 MQTT broker Kafka 扩展[…]。他们希望使用 MQTT 和 HiveMQ 把数据从设备移动到不同的后端系统。这些后端系统既包括 Kafka 系统,也包括非 Kafka 系统。


但是,Kafka 本身不是特别适用于物联网应用程序,因为典型的流式处理解决方案和这些物联网解决方案的要求根本就不匹配。Obermaier 提到, 特别是与物联网应用程序中可能使用的数百万主题相比较,Kafka 的消费者和生产者可以处理的主题数量是有限的。Kafka API 实现的复杂性使它不容易在受约束的设备上使用,无法获得物联网的关键特性,如:keep alivelast will and testament,等等。


这就是 HiveMQ Enterprise Extension for Kafka 可以大展身手的地方。事实上,其关键特性之一是能够把 MQTT 主题映射到 Kafka 主题,这样就解决了 Kafka 不适合处理大量主题的问题。同样,所有物联网设备将只看到 MQTT broker,因此,它们可以继续使用 MQTT,并完全支持 keep alive、last will and testament。此外,如果网络的不可靠性可能破坏 broker 和 Kafka 集群之间的连接,那么,前者将缓存所有接收到的消息,确保它们不会丢失。


HiveMQ Enterprise Extension for Kafka 不是唯一能够实现 MQTT-Kafka 互操作性的解决方案。竞争对手的解决方案是Confluent Kafka Connect MQTT,提供了 Kafka Connect 插件,另外还有一些其他的开源解决方案


基于发布和订阅模型的 Kafka 是处理和分发实时数据流应用最广泛的平台之一。MQTT 是发布和订阅协议,由于其占用空间小、实时保证并适用于高延迟、低吞吐量及不可靠的网络,因此,它特别适合物联网应用程序。


在相关的说明中,HiveMQ 最近宣布开源HiveMQ社区版本、MQTT broker 和HiveMQ MQTT客户端。MQTT 客户端是和 BMW Car IT 合作构建的,特别针对内存和 CPU 受限设备的高吞吐量和性能进行了调优。


阅读英文原文:HiveMQ Goes Open Source, Brings MQTT and Kafka Together


2019-05-06 08:0023118
用户头像

发布了 199 篇内容, 共 90.0 次阅读, 收获喜欢 295 次。

关注

评论 1 条评论

发布
用户头像
开源版本并不支持和kafka的集成,只有收费的Professional和Enterprise支持
2020-05-11 17:45
回复
没有更多了
发现更多内容

如何低成本实现 Prometheus 数据的长期存储?

Greptime 格睿科技

Prometheus 存储

云行| 雪域高原“智变”数智高地,天翼云助力西藏开启发展新程!

天翼云开发者社区

云计算 云服务 天翼云

如何在鲲鹏平台上快速上手应用开发?鲲鹏DevKit给你答案

华为云开发者联盟

性能调优 鲲鹏 鲲鹏DevKit

ElevenLabs X-to-Voice:社交账号自动生成能说话的个人页面;OpenAI 正式推出 ChatGPT 搜索

声网

VMware Aria Automation 8.18 发布,新增功能概览

sysin

vmware automation aria

VMware ESXi 8.0U3 Dell (戴尔) 定制版更新 OEM BIOS 2.7 支持 Windows Server 2025

sysin

macos esxi OEM unlocker dell

高并发编程/一张图精通CompletableFuture整体执行流程与设计(高手篇)

肖哥弹架构

Java 并发编程 高并发

AI大模型高效开发神器来了 ,解读ModelArts 8大能力

华为云开发者联盟

modelarts 大模型 华为云Stack AI 人工智能

HarmonyOS 5.0应用开发——音频播放组件的封装

高心星

鸿蒙 HarmonyOS 鸿蒙5.0 HarmonyOS NEXT

Databend 产品月报(2024年10月)

Databend

游戏显卡VS专业显卡:两者有什么区别?

Finovy Cloud

显卡

主流电商平台售后API接口代码【详细】

快递鸟

API 接口

企业选择云桌面系统的主要原因是什么?

青椒云云电脑

云桌面 云桌面系统

运营TikTok需要什么网络环境

Ogcloud

云手机 海外云手机 tiktok云手机 tiktok运营 tiktok运营干货

RUM最佳实践:内网IP地址映射地图地理位置场景

观测云

RUM

【论文速读】| RED QUEEN: 保护大语言模型免受隐蔽多轮越狱攻击

云起无垠

华为云开源项目Sermant正式成为CNCF官方项目

华为云开发者联盟

微服务 cncf #云原生 #开源 sermant

有Redis为什么还要本地缓存?谈谈你对本地缓存的理解?

王磊

VMware ESXi 8.0U3 xFusion (超聚变) 定制版更新 OEM BIOS 2.7 支持 Windows Server 2025

sysin

macos esxi OEM Xfusion

数字先锋| 安全高效!天翼云电脑按下綦江数字政府建设“快进键”!

天翼云开发者社区

云计算 云服务

HiveMQ开源:把MQTT和Kafka集成在一起_开源_Sergio De Simone_InfoQ精选文章