AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

HiveMQ 开源:把 MQTT 和 Kafka 集成在一起

  • 2019-05-06
  • 本文字数:1029 字

    阅读完需:约 3 分钟

HiveMQ开源:把MQTT和Kafka集成在一起

HiveMQ 最近发布了HiveMQ Enterprise Extension for Kafka,旨在集成 Kafka 和 MQTT,以实现物联网应用程序的实时流。


HiveMQ Enterprise Extension for Kafka 是 HiveMQ broker 的 Kafka 协议实现,支持 broker 充当 Kafka 客户端,并让来自物联网设备的消息流式传输到一个或多个 Kafka 集群中。




HiveMQ 首席技术官 Dominik Obermaier 表示,Kafka 可以为物联网解决方案带来很多价值,因为它可以可以处理大量实时数据的能力,并提供了高吞吐量和低延迟。


有些受访的 HiveMQ 客户表示,他们有数百万台设备和消息吞吐量非常高的集群,我们发现很有必要为创建 MQTT broker Kafka 扩展[…]。他们希望使用 MQTT 和 HiveMQ 把数据从设备移动到不同的后端系统。这些后端系统既包括 Kafka 系统,也包括非 Kafka 系统。


但是,Kafka 本身不是特别适用于物联网应用程序,因为典型的流式处理解决方案和这些物联网解决方案的要求根本就不匹配。Obermaier 提到, 特别是与物联网应用程序中可能使用的数百万主题相比较,Kafka 的消费者和生产者可以处理的主题数量是有限的。Kafka API 实现的复杂性使它不容易在受约束的设备上使用,无法获得物联网的关键特性,如:keep alivelast will and testament,等等。


这就是 HiveMQ Enterprise Extension for Kafka 可以大展身手的地方。事实上,其关键特性之一是能够把 MQTT 主题映射到 Kafka 主题,这样就解决了 Kafka 不适合处理大量主题的问题。同样,所有物联网设备将只看到 MQTT broker,因此,它们可以继续使用 MQTT,并完全支持 keep alive、last will and testament。此外,如果网络的不可靠性可能破坏 broker 和 Kafka 集群之间的连接,那么,前者将缓存所有接收到的消息,确保它们不会丢失。


HiveMQ Enterprise Extension for Kafka 不是唯一能够实现 MQTT-Kafka 互操作性的解决方案。竞争对手的解决方案是Confluent Kafka Connect MQTT,提供了 Kafka Connect 插件,另外还有一些其他的开源解决方案


基于发布和订阅模型的 Kafka 是处理和分发实时数据流应用最广泛的平台之一。MQTT 是发布和订阅协议,由于其占用空间小、实时保证并适用于高延迟、低吞吐量及不可靠的网络,因此,它特别适合物联网应用程序。


在相关的说明中,HiveMQ 最近宣布开源HiveMQ社区版本、MQTT broker 和HiveMQ MQTT客户端。MQTT 客户端是和 BMW Car IT 合作构建的,特别针对内存和 CPU 受限设备的高吞吐量和性能进行了调优。


阅读英文原文:HiveMQ Goes Open Source, Brings MQTT and Kafka Together


2019-05-06 08:0023128
用户头像

发布了 199 篇内容, 共 90.3 次阅读, 收获喜欢 295 次。

关注

评论 1 条评论

发布
用户头像
开源版本并不支持和kafka的集成,只有收费的Professional和Enterprise支持
2020-05-11 17:45
回复
没有更多了
发现更多内容

入门无压力,进阶有深度:iVX 的开发者友好性双重法则

代码制造者

低代码 无代码

VMware ESXi 8.0U3e macOS Unlocker & OEM BIOS HPE (慧与) 定制版

sysin

esxi

全新 Graviton4 实例,提升 Valkey 性价比

亚马逊云科技 (Amazon Web Services)

vivo 互联网研发效能关键技术与实践

vivo互联网技术

DevOps 研发效能 CI/CD 测试工具

CodeBuddy 开发者福音!在线简历0元搞定,再也不怕面试翻车!

不惑

CodeBuddy

原生 iOS App 开发的优势

北京木奇移动技术有限公司

软件外包公司 APP外包 APP开发公司

刷脸购物、智能补货:英特尔AI技术重塑零售门店体验

E科讯

黑龙江等保:跨省或全国联网运行的网络系统如何选择备案地?

黑龙江陆陆信息测评部

等保测评:五级等保系统?

黑龙江陆陆信息测评部

CST如何快速获得微带线或带状线简单分析模型

思茂信息

cst CST软件 CST Studio Suite

【YashanDB 知识库】Mybatis-Plus 如何正确配置分页?Oracle 和 MySQL 写法都能用!

数据库砖家

数据库

如何用AI工具制作毕业答辩PPT?PPT制作保姆级攻略来袭!

职场工具箱

效率工具 PPT 毕业设计 办公软件 AI生成PPT

Uniapp开发鸿蒙购物项目教程之样式选择器

幽蓝计划

一物一码赋能智能制造:MES如何实现生产全流程数字化追溯

万界星空科技

mes 一物一码 二维码系统 产品二维码管理 二维码追溯

快手上线鸿蒙应用高性能解决方案:数据反序列化性能提升90%

HarmonyOS开发者

Nooka:将书籍生成可互动音频,支持随时打断和提问;Sam Altman:语音与图形界面结合将带来创新丨日报

声网

接单拒绝别人最好的办法就是:“这个我不会做”

程序员郭顺发

Arthas mbean(查看 Mbean 的信息)

刘大猫

Java 监控 Arthas 监控工具 mbean

应对亚马逊面试的有效方法

Nackydeng

程序员面试 大厂求职 北美求职 亚马逊面试 亚马逊面经

VMware ESXi 8.0U3e macOS Unlocker & OEM BIOS ConnectX-3 网卡定制版

sysin

esxi

成功案例丨从草图到鞍座:用先进的发泡成型仿真技术变革鞍座制造

Altair RapidMiner

仿真 CAE Inspire 工业仿真 发泡成型

研发流程走出低谷,靠老一套肯定不行了

禅道项目管理

运维 开发 研发流程 禅道项目管理软件 禅道DevOps解决方案

Arthas ognl(执行ognl表达式)

刘大猫

人工智能 监控 Arthas 监控工具 ognl

图形化编程语言视域下iVX开发平台的技术建构

代码制造者

ide 低代码

LED屏幕天花板安装:打造炫酷空间的实用指南

Dylan

商业 LED LED display LED显示屏 LED屏幕

【YashanDB 知识库】JDBC 查询 date 字段不返回时分秒?别只用 getString!

数据库砖家

数据库

用 AI 快速开发一款小程序

悟空聊架构

CodeBuddy首席试玩官

VMware ESXi 8.0U3e macOS Unlocker & OEM BIOS 集成驱动版,新增 12 款 I219 网卡驱动

sysin

esxi

等保测评公司:备案证明

黑龙江陆陆信息测评部

自动动手制作一款Chrome扩展,一键转存文章

悟空聊架构

观测云:从云时代走向AI时代

观测云

人工智能

HiveMQ开源:把MQTT和Kafka集成在一起_开源_Sergio De Simone_InfoQ精选文章