10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

HiveMQ 开源:把 MQTT 和 Kafka 集成在一起

  • 2019-05-06
  • 本文字数:1029 字

    阅读完需:约 3 分钟

HiveMQ开源:把MQTT和Kafka集成在一起

HiveMQ 最近发布了HiveMQ Enterprise Extension for Kafka,旨在集成 Kafka 和 MQTT,以实现物联网应用程序的实时流。


HiveMQ Enterprise Extension for Kafka 是 HiveMQ broker 的 Kafka 协议实现,支持 broker 充当 Kafka 客户端,并让来自物联网设备的消息流式传输到一个或多个 Kafka 集群中。




HiveMQ 首席技术官 Dominik Obermaier 表示,Kafka 可以为物联网解决方案带来很多价值,因为它可以可以处理大量实时数据的能力,并提供了高吞吐量和低延迟。


有些受访的 HiveMQ 客户表示,他们有数百万台设备和消息吞吐量非常高的集群,我们发现很有必要为创建 MQTT broker Kafka 扩展[…]。他们希望使用 MQTT 和 HiveMQ 把数据从设备移动到不同的后端系统。这些后端系统既包括 Kafka 系统,也包括非 Kafka 系统。


但是,Kafka 本身不是特别适用于物联网应用程序,因为典型的流式处理解决方案和这些物联网解决方案的要求根本就不匹配。Obermaier 提到, 特别是与物联网应用程序中可能使用的数百万主题相比较,Kafka 的消费者和生产者可以处理的主题数量是有限的。Kafka API 实现的复杂性使它不容易在受约束的设备上使用,无法获得物联网的关键特性,如:keep alivelast will and testament,等等。


这就是 HiveMQ Enterprise Extension for Kafka 可以大展身手的地方。事实上,其关键特性之一是能够把 MQTT 主题映射到 Kafka 主题,这样就解决了 Kafka 不适合处理大量主题的问题。同样,所有物联网设备将只看到 MQTT broker,因此,它们可以继续使用 MQTT,并完全支持 keep alive、last will and testament。此外,如果网络的不可靠性可能破坏 broker 和 Kafka 集群之间的连接,那么,前者将缓存所有接收到的消息,确保它们不会丢失。


HiveMQ Enterprise Extension for Kafka 不是唯一能够实现 MQTT-Kafka 互操作性的解决方案。竞争对手的解决方案是Confluent Kafka Connect MQTT,提供了 Kafka Connect 插件,另外还有一些其他的开源解决方案


基于发布和订阅模型的 Kafka 是处理和分发实时数据流应用最广泛的平台之一。MQTT 是发布和订阅协议,由于其占用空间小、实时保证并适用于高延迟、低吞吐量及不可靠的网络,因此,它特别适合物联网应用程序。


在相关的说明中,HiveMQ 最近宣布开源HiveMQ社区版本、MQTT broker 和HiveMQ MQTT客户端。MQTT 客户端是和 BMW Car IT 合作构建的,特别针对内存和 CPU 受限设备的高吞吐量和性能进行了调优。


阅读英文原文:HiveMQ Goes Open Source, Brings MQTT and Kafka Together


2019-05-06 08:0023207
用户头像

发布了 199 篇内容, 共 91.8 次阅读, 收获喜欢 295 次。

关注

评论 1 条评论

发布
用户头像
开源版本并不支持和kafka的集成,只有收费的Professional和Enterprise支持
2020-05-11 17:45
回复
没有更多了
发现更多内容

备战明年金三银四,阿里P8大佬总结的这份Java面试文档,你可一定要好好看看

Java 程序员 后端

多层次存储器

Java 程序员 后端

天天curd,怎么才能成长,跳离CRUD的苦海?

Java 程序员 后端

大战618,决胜双十一 高并发秒杀系统解密—后端java程序员力荐

Java 程序员 后端

天哪!手动编写mybatis雏形竟然长这样

Java 程序员 后端

太悲伤了,女朋友面试惨遭面试官吊打,半夜偷偷摸摸躲在被子里抹眼泪刷题

Java 程序员 后端

奉劝各位学弟学妹们,该打造你的技术影响力了!

Java 程序员 后端

堪称全网最全的JAVA面试复盘笔记(23个技术栈)5000字解析!冲击大厂必备

Java 程序员 后端

多线程详解第3讲:线程状态

Java 程序员 后端

大厂炸锅了!这份全程无尿点的Java彩版面试开挂攻略在GitHub火了

Java 程序员 后端

linux检测系统是否被入侵(上)

入门小站

Linux

头条二面:你确定ThreadLocal真的会造成内存泄露?

Java 程序员 后端

奉劝那些想把编程学好的学弟学妹们!呕心沥血,袒露心声,掏心掏肺

Java 程序员 后端

从 Kafka 到 Pulsar,BIGO 打造实时消息系统之路

Apache Pulsar

分布式 BIGO 消息中间件 云存储 Apache Pulsar 消息系统

大年初三,我带着Spring事务管理详解来给大家拜年啦-!

Java 程序员 后端

增删改查的基本操作:实现MyArrayList,你学会了吗?

Java 程序员 后端

复习一周,字节跳动三场技术面+HR面,不小心拿了offer

Java 程序员 后端

大神万字总结:InnoDB 锁类型及其详细分析

Java 程序员 后端

在线文本中英文数字清除工具

入门小站

工具

太刺激了,面试官让我手写跳表,而我用两种实现方式吊打了TA

Java 程序员 后端

太强了!这是我见过最通俗易懂的一篇Spring知识点总结

Java 程序员 后端

太强了,阿里P8面试官用1个多月,总结1000道题的Java面试文档!

Java 程序员 后端

头条五面惨败,被虐到怀疑人生!面试官三十六连击,你能答出多少?

Java 程序员 后端

Win11上openvino_notebooks环境搭建

IT蜗壳-Tango

IT蜗壳 OpenVINO 11月日更

堪称完美!字节强推数据结构与算法进修指南:理论源码面试三飞

Java 程序员 后端

阿里技术官限产的MySQL高级笔记及面试宝典,简直开挂

Java MySQL 数据库 程序员

模块三作业

心怀架构

大专生出身,做Java程序员真的没有春天吗?冲刺拼多多终拿下Offer

Java 程序员 后端

大厂面试必备:JVM-垃圾回收机制—垃圾回收中的概念

Java 程序员 后端

多线程详解第4讲:线程同步(重点)

Java 程序员 后端

云原生 DevOps,模型化应用交付能力很重要!

阿里巴巴云原生

DevOps 云原生 模型 应用交付

HiveMQ开源:把MQTT和Kafka集成在一起_开源_Sergio De Simone_InfoQ精选文章