Apache Beam 发布第一个稳定版本

  • 薛命灯

2017 年 5 月 18 日

话题:语言 & 开发架构

Apache Beam在官方博客上正式发布了 Beam 2.0.0。这是 Beam 有史以来的第一个稳定版本,根据 Beam 社区的声明,Beam 意欲为未来版本发布保持 API 的稳定性,并让 Beam 适用于企业的部署。

Beam 的第一个稳定版本是 Beam 社区发布的第三个重要里程碑。Beam 在 2016 年 2 月成为 Apache 孵化器项目,并在同年 12 月升级成为 Apache 基金会的顶级项目。经过从开始至今的 15 个月全神贯注的努力,从一个有点混乱的代码库开始,从各大组织合并代码,成就了如今的这个数据处理框架,它是一个真正与引擎和环境无关的数据处理框架。Beam 经过三个孵化器版本和三个后孵化器版本的演化和改进,最终迎来了它的第一个稳定版 2.0.0。

在从升级为顶级项目至今的 5 个月时间里,Beam 在采用率和社区贡献两个方面都取得了重大进展。Google Cloud、PayPal、Talend 等公司都在使用Beam。

Beam 2.0.0 改进了用户体验,专注于提升框架在各种执行环境中的无缝移植能力,这些执行环境包括执行引擎、操作系统、本地集群、云端,以及数据存储系统。Beam 的其他特性还包括如下几点。

  • API 稳定性和对未来版本的兼容性。
  • 有状态的数据处理范式,支持高效的依赖数据的计算。
  • 支持用户扩展的文件系统,内建支持 Hadoop 分布式发文件系统及其他。
  • 提供了一个度量指标系统,可用于深入窥见管道的执行情况。

很多贡献者促成了这个稳定版本的发布,他们承担了各种角色的任务:贡献代码、编写文档、测试候选版本、为用户提供支持,等等。

Beam 2.0.0 将会在这周于迈阿密举行的“Apache:大数据”大会上首次亮相,会上将会有四个与 Beam 相关的主题。Beam 也将会成为很多开发者见面会的主角,包括“圣何塞数据的未来”见面会、“伦敦斯特拉塔数据大会”、“柏林 Buzzwords”,以及“圣何塞 DataWorks 峰会”。

开发者从今天开始就可以试用Beam,也可以考虑加入 Beam 社区,或者可以通过 Beam 的邮件组问题跟踪系统向社区提供反馈意见和问题。


感谢杜小芳对本文的审校。

给 InfoQ 中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们。

语言 & 开发架构