写点什么

大数据分析引擎 Apache Flink 升级成为 Apache 顶级项目

  • 2015-01-16
  • 本文字数:1043 字

    阅读完需:约 3 分钟

Apache Flink 是一个高效、分布式、基于 Java 实现的通用大数据分析引擎,它具有分布式 MapReduce 一类平台的高效性、灵活性和扩展性以及并行数据库查询优化方案,它支持批量和基于流的数据分析,且提供了基于 Java 和 Scala 的 API。从 Apache 官方博客中得知,Flink 已于近日升级成为Apache 基金会的顶级项目。Flink 项目的副总裁对此评论到:

Flink__ 能够成为基金会的顶级项目,自己感到非常高兴。自己认为社区的驱动将是 Flink 成长的最好保证。Flink 逐渐的成长以及众多新人加入该社区真是一件大好事。

从 Flink 官网得知,其具有如下主要特征:

1. 快速

Flink 利用基于内存的数据流并将迭代处理算法深度集成到了系统的运行时中,这就使得系统能够以极快的速度来处理数据密集型和迭代任务。

2. 可靠性和扩展性

当服务器内存被耗尽时,Flink 也能够很好的运行,这是因为 Flink 包含自己的内存管理组件、序列化框架和类型推理引擎。

3. 表现力

利用 Java 或者 Scala 语言能够编写出漂亮、类型安全和可为核心的代码,并能够在集群上运行所写程序。开发者可以在无需额外处理就使用 Java 和 Scala 数据类型

4. 易用性

在无需进行任何配置的情况下,Flink 内置的优化器就能够以最高效的方式在各种环境中执行程序。此外,Flink 只需要三个命令就可以运行在 Hadoop 的新 MapReduce 框架 Yarn 上,

5. 完全兼容 Hadoop

Flink 支持所有的 Hadoop 所有的输入 / 输出格式和数据类型,这就使得开发者无需做任何修改就能够利用 Flink 运行历史遗留的 MapReduce 操作

Flink 主要包括基于 Java 和 Scala 的用于批量和基于流数据分析的 API、优化器和具有自定义内存管理功能的分布式运行时等,其主要架构如下:

更多关于 Flink 的相关信息,请读者登录其托管在 GitHub 的主页和其官网查看。另外,开源的大数据分析平台除了 Flink 外,还包括 Apache 推出 Google Dremel 的开源版本 Apache Drill (2014 年 12 月份升级成为 Apache 基金会的顶级项目)、来自 NSA(美国国家安全局) Apache Nifi (2014 年 12 月份贡献给 Apache 基金会)、来自 Cloudera 公司开发的实时分析系统 Impala (受 Google Dremel 启发)、加州伯克利大学 AMPLab 开发的大数据分析系统 Shark 、Facebook 开源的分布式 SQL 查询引擎 Presto Hortonworks 开源的实时且类 SQL 的即时查询系统 Stinger 等等。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2015-01-16 01:3720746
用户头像

发布了 92 篇内容, 共 49.3 次阅读, 收获喜欢 5 次。

关注

评论

发布
暂无评论
发现更多内容

c++17使用多线程编程的时候在编译时要怎么处理

linux大本营

多线程 C++

从 Milvus 2.2 到 2.2.6,我们是如何持续稳定升级的

Zilliz

非结构化数据 Milvus 向量数据库

法大大发布数智化签约管理平台,赋能企业高效增长

人称T客

少年与阿童木:一场软件竞技赛背后的智能未来

脑极体

机器人 华为云

低代码是开发的未来,还是只能解决边角问题的鸡肋?

引迈信息

前端 后端 低代码 JNPF

spdk里是怎么运行nvmf-tgt的

linux大本营

spdk

【Python实战】Python采集度贴吧排行榜

BROKEN

三周年连更

作为前端你还不懂MutationObserver?那Out了

不叫猫先生

JavaScript 前端 三周年连更 MutationObserver

Cloud Studio 一个好用的在线编程工具

CODING DevOps

开发 部署 Cloud Studio 云端IDE 在线编程

c++单例模式的所有面经

linux大本营

设计模式 单例模式 C++

智汇昌平,数赢未来——宝德京产自主创新服务器正式下线

极客天地

百度与用友网络签署战略合作

百度开发者中心

智能制造 文心一言

eBPF的发展演进---从石器时代到成为神(三)

统信软件

操作系统 Linux内核

KubeVela:一场向应用交付标准的“冲锋”

RRLL

阿里云 数据湖 云原生 KubeVela 应用交付

云BI产品瓴羊Quick BI,为企业数字化转型保驾护航

巷子

当生成式AI照进医疗,医患关系将何去何从?

白洞计划

医疗

读《分布式商业》有感

后台技术汇

分布式 三周年连更

linux设置虚拟IP

linux大本营

Linux 网络 IP地址

用c语言写一个目录遍历程序

linux大本营

C语言 目录遍历

ThingsBoard 前端项目内置部件开发

echeverra

thingsboard

有奖征文丨【玩转Cloud Studio】第二季来啦!

CODING DevOps

Cloud Studio 云端IDE 在线编程 有奖征文 活动推荐

《雄安新区2022年大数据研究报告》发布

百度开发者中心

智慧城市

大淘宝技术斩获NTIRE 2023视频质量评价比赛冠军(内含夺冠方案)

阿里巴巴大淘宝技术

视频 NTIRE

使用tc+iptables对指定的socket进行限速

linux大本营

TCP socket 网络 iptables

人脸识别:城市公共交通

百度开发者中心

人工智能 人脸识别

人工智能训练数据集:基础与发展

数据堂

5.10版本linux内核的使用slub的kmem_cache_init函数解析

linux大本营

内存管理 Linux内核 slub slab

人工智能时代来临,殊不知低代码早已出手

加入高科技仿生人

人工智能 低代码 数智化 数智融合

极客时间「大师课·深度剖析 RocketMQ5.0」上线啦,欢迎免费领取!

Apache RocketMQ

云原生 消息队列

大数据分析引擎Apache Flink升级成为Apache顶级项目_开源_李士窑_InfoQ精选文章