写点什么

HiveMQ 开源:把 MQTT 和 Kafka 集成在一起

  • 2019-05-06
  • 本文字数:1029 字

    阅读完需:约 3 分钟

HiveMQ开源:把MQTT和Kafka集成在一起

HiveMQ 最近发布了HiveMQ Enterprise Extension for Kafka,旨在集成 Kafka 和 MQTT,以实现物联网应用程序的实时流。


HiveMQ Enterprise Extension for Kafka 是 HiveMQ broker 的 Kafka 协议实现,支持 broker 充当 Kafka 客户端,并让来自物联网设备的消息流式传输到一个或多个 Kafka 集群中。




HiveMQ 首席技术官 Dominik Obermaier 表示,Kafka 可以为物联网解决方案带来很多价值,因为它可以可以处理大量实时数据的能力,并提供了高吞吐量和低延迟。


有些受访的 HiveMQ 客户表示,他们有数百万台设备和消息吞吐量非常高的集群,我们发现很有必要为创建 MQTT broker Kafka 扩展[…]。他们希望使用 MQTT 和 HiveMQ 把数据从设备移动到不同的后端系统。这些后端系统既包括 Kafka 系统,也包括非 Kafka 系统。


但是,Kafka 本身不是特别适用于物联网应用程序,因为典型的流式处理解决方案和这些物联网解决方案的要求根本就不匹配。Obermaier 提到, 特别是与物联网应用程序中可能使用的数百万主题相比较,Kafka 的消费者和生产者可以处理的主题数量是有限的。Kafka API 实现的复杂性使它不容易在受约束的设备上使用,无法获得物联网的关键特性,如:keep alivelast will and testament,等等。


这就是 HiveMQ Enterprise Extension for Kafka 可以大展身手的地方。事实上,其关键特性之一是能够把 MQTT 主题映射到 Kafka 主题,这样就解决了 Kafka 不适合处理大量主题的问题。同样,所有物联网设备将只看到 MQTT broker,因此,它们可以继续使用 MQTT,并完全支持 keep alive、last will and testament。此外,如果网络的不可靠性可能破坏 broker 和 Kafka 集群之间的连接,那么,前者将缓存所有接收到的消息,确保它们不会丢失。


HiveMQ Enterprise Extension for Kafka 不是唯一能够实现 MQTT-Kafka 互操作性的解决方案。竞争对手的解决方案是Confluent Kafka Connect MQTT,提供了 Kafka Connect 插件,另外还有一些其他的开源解决方案


基于发布和订阅模型的 Kafka 是处理和分发实时数据流应用最广泛的平台之一。MQTT 是发布和订阅协议,由于其占用空间小、实时保证并适用于高延迟、低吞吐量及不可靠的网络,因此,它特别适合物联网应用程序。


在相关的说明中,HiveMQ 最近宣布开源HiveMQ社区版本、MQTT broker 和HiveMQ MQTT客户端。MQTT 客户端是和 BMW Car IT 合作构建的,特别针对内存和 CPU 受限设备的高吞吐量和性能进行了调优。


阅读英文原文:HiveMQ Goes Open Source, Brings MQTT and Kafka Together


2019-05-06 08:0023190
用户头像

发布了 199 篇内容, 共 91.5 次阅读, 收获喜欢 295 次。

关注

评论 1 条评论

发布
用户头像
开源版本并不支持和kafka的集成,只有收费的Professional和Enterprise支持
2020-05-11 17:45
回复
没有更多了
发现更多内容

【Python技能树共建】验证码实操2案例

梦想橡皮擦

6月月更

市值严重低估,现金15亿,百世走的路对吗?

科技新知

开课报名|「Takin开源特训营」第一期来啦!手把手教你搞定全链路压测!

TakinTalks稳定性社区

开源 全链路压测 生产环境全链路压测 安全生产 稳定性保障

Java项目集成activity工作流,快速开发业务审批单据(低代码,敏捷)

金陵老街

敏捷 springboot Activity Vue 3 BPMN

JavaScript期约Promise

大熊G

JavaScript 前端 6月月更

谈谈 JDK 和 SAPMachine 的关系

汪子熙

Java jdk jre SAP 6月月更

谷歌AI人格觉醒“喜提”热搜,我们找清华大佬聊了聊 AI 对话系统的惊人进展

硬科技星球

人工智能 谷歌 图灵测试

Java—线程安全II

武师叔

6月月更

【直播回顾】战码先锋第五期:深入理解OpenHarmony系统启动,轻松踏上设备软件开发之旅

OpenHarmony开发者

Open Harmony

洞见科技当选中国信通院隐私计算联盟「副理事长+政务应用工作组组长」单位

洞见科技

隐私计算

java编程培训Mybatis的增删改查与获取参数值

@零度

mybatis JAVA开发

千亿参数“一口闷”?大模型训练必备四种策略

OneFlow

人工智能 模型训练 策略

NFT卡牌盲盒链游系统dapp开发搭建

薇電13242772558

智能合约 NFT

一文掌握软件安全必备技术 SAST

SEAL安全

网络安全 软件安全 SAST工具 SAST

还不知道npm私服?一篇教会你搭建私服并发布vue3组件库到nexus

Jianmu

ci 前端 npm Vue3 私服

Vue-10-class的动态绑定

Python研究所

6月月更

测试基础之:测试覆盖率

甜甜的白桃

软件测试 测试覆盖率 JACOCO 6月月更

远程办公带来的挑战和变化 | 社区征文

编程攻略

初夏征文

大数据培训flink窗口(Windows)的表现形式

@零度

大数据开发

洞见科技荣获「最受投资人欢迎的隐私计算服务企业」奖

洞见科技

隐私计算 数据要素

莫把暑假插错秧,代码哪有足球香,Alluxio足球青训营在线摇人!

Alluxio

微软 开源 足球 分布式, CCF开源高校行

如何制定业务的故障分级标准?

华仔

架构实战营 故障定级 故障分级

WebStorm注册码_WebStorm2022年激活永久实测有效

Geek_75f9e9

webstorm

影响软件公司开发价格的因素有很多,你知道吗?

开源直播系统源码

软件开发流程 直播系统 app源码 直播源码 定制软件开发

数字化转型之数字资产知识库(springboot+es+vue+neo4j)

金陵老街

全文检索 知识图谱 Vue 3 spring-boot

得物前端唤端业务场景和技术精讲

得物技术

前端 前端教程 等待唤醒 业务场景 前端工具

运营商动态路由的神器 :IS-IS 协议

wljslmz

6月月更 路由协议 IS-IS

企业知识管理系统应具备的功能

小炮

技术分享| 云服务器的使用-nginx的安装及使用

anyRTC开发者

nginx centos 音视频 服务器

InfoQ 极客传媒 15 周年庆征文|手摸手教你在Windows安装Docker,一定要看到最后

迷彩

Docker 架构 运维 6月月更 InfoQ极客传媒15周年庆

数据智能基础设施升级窗口将至?看九章云极 DingoDB 如何击破数据痛点

九章云极DataCanvas

人工智能 数据库 数据 数据智能

HiveMQ开源:把MQTT和Kafka集成在一起_开源_Sergio De Simone_InfoQ精选文章