FCon7折倒计时最后一周:日程已上线70%!查看详情>>> 了解详情
写点什么

Beam 晋升 Apache 顶级项目

  • 2017-02-26
  • 本文字数:933 字

    阅读完需:约 3 分钟

Beam 最近成功地晋升为 Apache 软件基金会的顶级项目,Beam 的目标包括使用灵活的高层及数据流处理不限时间、无序、全球规模的数据。Beam 最初是由 Google 内部项目创建,随后被捐献给了 Apache ,并于 2016 年 2 月开始一直孵化到当年年底。Beam 项目寻求针对流式和批处理任务创建一个统一编程模型,并且产生可以被许多已经支持的数据处理引擎消费的组件。Beam 寻求:

为世界提供一个易用的、强大的数据并行处理模型,支持包括流式和批处理,灵活地在各种实时平台之间工作。Beam SDKs 使用相同的类展现有限和无限数据,并且基于这些数据至上做相同的转换操作。

Java 和 Python 的 SDK 支持提供了选择的后台处理引擎和处理管道组件之间的抽象层。支持的处理引擎包括 Apache Apex Flink Spark 以及 Google Cloud Dataflow 引擎。

Beam 管道的编程模型包括 PCollection(s)、Transform(s) 和 Pipeline I/O,以及每个支持处理引擎的 Runners,对于本地 DirectRunner 不作为默认的 Beam:

Google 开源 Beam 的动机是作为新兴商业业务的一部分,用以支持集成,同时贡献给其他开源项目。基本想法是这样做可以增加Beam 的潜在使用几率,深层次是想要提升Google Dataflow平台的曝光度,深层次原因是因为Beamd 的出现会提升已经支持的处理引擎。Google 在Spark 和Beam 之间进行了比较,注明Beam 模型由于它专注于流式和批量数据处理,所以Beam 是正确的模型选择,并且通过启用事件时间窗口(Event-Time Windowing)、水印(Watermark)、触发(Trigger)特性等证明了语义重要性。开源社区和数据科学产业还不能独立于Google 进行数据验证,并且应该围绕系统架构和基准使用更多的用例分析。早期迹象显示Beam 社区正在不断发展,并且围绕支持多个处理平台也有积极的反馈。

查看英文原文: Beam Graduates to Top-Level Apache Project


感谢刘志勇对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2017-02-26 18:002829
用户头像

发布了 50 篇内容, 共 26.9 次阅读, 收获喜欢 39 次。

关注

评论

发布
暂无评论
发现更多内容

软件测试——网络协议知识(二)

测试人生路

软件测试 网络通信协议

MySQL为Null会导致5个问题,个个致命!

王磊

MySQL MySQL使用

RPC Demo(二) 基于 Zookeeper 的服务发现

Java zookeeper RPC 服务发现

写出一手烂代码的19条准则

Java架构师迁哥

CKLC挖矿矿机系统开发案例介绍

系统开发咨询1357O98O718

CKLC挖矿矿机系统软件开发 CKLC挖矿矿机系统开发 CKLC挖矿矿机APP系统开发

分享一个普通程序员的“沪漂”六年的历程以及感想

程序员老猫

回忆录 经历 年终总结 沪漂 上海买房

爆赞!P8架构师总结29篇多线程与高并发+设计模式核心笔记

Java架构追梦

Java 学习 架构 面试 多线程高并发

LeetCode题解:239. 滑动窗口最大值,二叉堆,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

Java中的常量

cdhqyj

Java

母鸡下蛋实例:多线程通信生产者和消费者wait/notify和condition/await/signal条件队列

叫练

多线程与高并发 Wait lock 线程互斥 await

Spring cloud Gateway(二) 一个Http请求的流程解析

Java 网关

技术干货 | 六分钟学会使用 HBuilder 引入构建 mPaaS 小程序

蚂蚁集团移动开发平台 mPaaS

小程序 uni-app mPaaS

SpringCloudGateway(一) 概览

Java SpringcloudGateway

IPFS云算力挖矿系统开发详解案例及源码

系统开发咨询1357O98O718

云算力挖矿系统开发详解 云算力APP系统软件开发 云算力模式系统开发源码 云算力软件系统开发定制

NoahTenet诺亚信条软件系统APP开发

系统开发

重新发现科技与人文的互动

脑极体

智慧社区综合应用平台搭建,社区管理解决方案

t13823115967

智慧社区管理平台开发 智慧平安社区平台建设

5G与4G的差别及应用

anyRTC开发者

人工智能 android AI 5G WebRTC

测开之函数进阶· 第6篇《闭包》

清菡软件测试

测试开发

通达同城快递设计方案

garlic

架构师训练营第 1 期

跨年巨作!13万字!腾讯高工纯手写“JDK源码笔记”直接带你飙向实战

比伯

Java 编程 架构 面试 计算机

如何使用mock应对测试所需随机数据

华为云开发者联盟

测试 数据 Mock

为了搞清楚类加载,竟然手撸JVM!

小傅哥

JVM 小傅哥 类加载 生命周期 加载机制

公安警务报警系统,二维码一键定位报警

t13823115967

二维码定位报警系统开发 微警务 二维码定位

令数字起舞,让自然微笑:TECH4ALL的2020启示录

脑极体

实用流程工具,浅析LR.NET配置型工作流引擎

雯雯写代码

.net 工作流

阿里面试:Mybatis中方法和SQL是怎么关联起来的呢?

田维常

mybatis

Java多线程编程核心技术

田维常

多线程

IPFS分布式存储矿机系统APP软件开发

系统开发

AAAI 2021论文:利用深度元学习对城市销量进行预测(附论文下载)

京东科技开发者

数据库 大数据 时序预测

送你一份迷你书,全面了解如何做好大促技术备战

京东科技开发者

DevOps

  • 扫码添加小助手
    领取最新资料包
Beam晋升Apache顶级项目_大数据_Dylan Raithel_InfoQ精选文章