Hazelcast 发布 Jet 0.6 版本

阅读数:583 2018 年 5 月 2 日

话题:Java语言 & 开发架构

看新闻很累?看技术新闻更累?试试下载 InfoQ 手机客户端,每天上下班路上听新闻,有趣还有料!

分布式计算技术和工具开发商 Hazelcast 正式发布了他们的开源流式处理引擎 Jet 0.6。

Jet 自 2017 年 2 月起就已可用,而 0.6 是 Hazelcast 版本方案的主要发布版本。

Jet 旨在提供一种功能,让开发人员在各种数据源之上构建分布式容错数据处理管道。它使用 Hazelcast IMDG 作为内部数据管理技术,并以 Hazelcast 的内存计算技术作为基础。Hazelcast 将 Jet 描述为:“让大数据成为应用程序基础设施的一部分”。

与 Hazelcast 的其他产品一样,Jet 也是基于 Java 开发的,并且直接针对 Java 开发人员和团队。Jet 的核心 API 中包含了 java.util.stream 的分布式版本,让刚开始接触分布式处理的 Java 开发人员更容易上手。

Jet 0.6 的新功能和增强功能包括:

  • 改进和简化的高级 API(管道)
  • 改进的作业管理功能
  • 计算弹性
  • 新的连接器——Kafka v1.0 和 HDFS v2.8.3
  • Java 9 支持(包括模块)
  • Spring 集成
  • 示例和演示代码

该声明还表明,Jet 内嵌了 Hazelcast IMDG v3.10。这个版本尚未发布,但预计很快会发布。

Jet 的部署拓扑结构与 Hazelcast IMDG 提供的选项类似——Jet 可以嵌入到 JVM 应用程序中,也可以独立运行在基础设施上。

在内部,Jet 将分布式计算作业表示为有向无环图(DAG),并使用协作多线程(又称“绿色线程”)和并发队列来实现低延迟。Jet 的设计灵感来自 Martin Thompson 和他的“Mechanical Sympathy”,以及无等待算法。

该团队宣称,相比其他类似技术,如 Apache Spark,Jet 的 0.6 版本在性能上有显着的提升。

Jet 版本 0.6 已经发布,可以从 Hazelcast 网站(https://jet.hazelcast.org/)下载,并在 Apache 2 许可下使用。

查看英文原文Hazelcast Releases Jet 0.6