HiveMQ最近发布了HiveMQ Enterprise Extension for Kafka，旨在集成Kafka和MQTT，以实现物联网应用程序的实时流。

HiveMQ Enterprise Extension for Kafka是HiveMQ broker的Kafka协议实现，支持broker充当Kafka客户端，并让来自物联网设备的消息流式传输到一个或多个Kafka集群中。

HiveMQ首席技术官Dominik Obermaier表示，Kafka可以为物联网解决方案带来很多价值，因为它可以可以处理大量实时数据的能力，并提供了高吞吐量和低延迟。

有些受访的HiveMQ客户表示，他们有数百万台设备和消息吞吐量非常高的集群，我们发现很有必要为创建MQTT broker Kafka扩展[…]。他们希望使用MQTT和HiveMQ把数据从设备移动到不同的后端系统。这些后端系统既包括Kafka系统，也包括非Kafka系统。

但是，Kafka本身不是特别适用于物联网应用程序，因为典型的流式处理解决方案和这些物联网解决方案的要求根本就不匹配。Obermaier提到，特别是与物联网应用程序中可能使用的数百万主题相比较，Kafka的消费者和生产者可以处理的主题数量是有限的。Kafka API实现的复杂性使它不容易在受约束的设备上使用，无法获得物联网的关键特性，如：keep alive、last will and te stament，等等。

这就是HiveMQ Enterprise Extension for Kafka可以大展身手的地方。事实上，其关键特性之一是能够把MQTT主题映射到Kafka主题，这样就解决了Kafka不适合处理大量主题的问题。同样，所有物联网设备将只看到MQTT broker，因此，它们可以继续使用MQTT，并完全支持keep alive、last will and testament。此外，如果网络的不可靠性可能破坏broker和Kafka集群之间的连接，那么，前者将缓存所有接收到的消息，确保它们不会丢失。

HiveMQ Enterprise Extension for Kafka不是唯一能够实现MQTT-Kafka互操作性的解决方案。竞争对手的解决方案是Confluent Kafka Connect MQTT，提供了Kafka Connect插件，另外还有一些其他的开源解决方案。

基于发布和订阅模型的Kafka是处理和分发实时数据流应用最广泛的平台之一。MQTT是发布和订阅协议，由于其占用空间小、实时保证并适用于高延迟、低吞吐量及不可靠的网络，因此，它特别适合物联网应用程序。

在相关的说明中，HiveMQ最近宣布开源 HiveMQ社区版本、MQTT broker和HiveMQ MQTT客户端。MQTT客户端是和BMW Car IT合作构建的，特别针对内存和CPU受限设备的高吞吐量和性能进行了调优。

阅读英文原文：HiveMQ Goes Open Source, Brings MQTT and Kafka Together

创作场景

HiveMQ 开源：把 MQTT 和 Kafka 集成在一起