【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

大数据分析引擎 Apache Flink 升级成为 Apache 顶级项目

  • 2015-01-16
  • 本文字数:1043 字

    阅读完需:约 3 分钟

Apache Flink 是一个高效、分布式、基于 Java 实现的通用大数据分析引擎,它具有分布式 MapReduce 一类平台的高效性、灵活性和扩展性以及并行数据库查询优化方案,它支持批量和基于流的数据分析,且提供了基于 Java 和 Scala 的 API。从 Apache 官方博客中得知,Flink 已于近日升级成为Apache 基金会的顶级项目。Flink 项目的副总裁对此评论到:

Flink__ 能够成为基金会的顶级项目,自己感到非常高兴。自己认为社区的驱动将是 Flink 成长的最好保证。Flink 逐渐的成长以及众多新人加入该社区真是一件大好事。

从 Flink 官网得知,其具有如下主要特征:

1. 快速

Flink 利用基于内存的数据流并将迭代处理算法深度集成到了系统的运行时中,这就使得系统能够以极快的速度来处理数据密集型和迭代任务。

2. 可靠性和扩展性

当服务器内存被耗尽时,Flink 也能够很好的运行,这是因为 Flink 包含自己的内存管理组件、序列化框架和类型推理引擎。

3. 表现力

利用 Java 或者 Scala 语言能够编写出漂亮、类型安全和可为核心的代码,并能够在集群上运行所写程序。开发者可以在无需额外处理就使用 Java 和 Scala 数据类型

4. 易用性

在无需进行任何配置的情况下,Flink 内置的优化器就能够以最高效的方式在各种环境中执行程序。此外,Flink 只需要三个命令就可以运行在 Hadoop 的新 MapReduce 框架 Yarn 上,

5. 完全兼容 Hadoop

Flink 支持所有的 Hadoop 所有的输入 / 输出格式和数据类型,这就使得开发者无需做任何修改就能够利用 Flink 运行历史遗留的 MapReduce 操作

Flink 主要包括基于 Java 和 Scala 的用于批量和基于流数据分析的 API、优化器和具有自定义内存管理功能的分布式运行时等,其主要架构如下:

更多关于 Flink 的相关信息,请读者登录其托管在 GitHub 的主页和其官网查看。另外,开源的大数据分析平台除了 Flink 外,还包括 Apache 推出 Google Dremel 的开源版本 Apache Drill (2014 年 12 月份升级成为 Apache 基金会的顶级项目)、来自 NSA(美国国家安全局) Apache Nifi (2014 年 12 月份贡献给 Apache 基金会)、来自 Cloudera 公司开发的实时分析系统 Impala (受 Google Dremel 启发)、加州伯克利大学 AMPLab 开发的大数据分析系统 Shark 、Facebook 开源的分布式 SQL 查询引擎 Presto Hortonworks 开源的实时且类 SQL 的即时查询系统 Stinger 等等。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2015-01-16 01:3720370
用户头像

发布了 92 篇内容, 共 44.9 次阅读, 收获喜欢 5 次。

关注

评论

发布
暂无评论
发现更多内容

文心一言 VS 讯飞星火 VS chatgpt (169)-- 算法导论13.2 2题

福大大架构师每日一题

福大大架构师每日一题

旧年好,祝新年更好

阿里云视频云

云计算 视频云

INFINI Labs 产品更新 | Console 数据迁移支持 Percentiles 均匀分区

极限实验室

console 极限科技 产品更新发布

终于!极狐GitLab 支持 ARM 啦!

极狐GitLab

Adobe Audition(Au)如何扫描 VST3、VST 和 Audio Units 增效工具?

Rose

Casper Network 推出 “DevRewards” 计划:允许所有开发者赚取激励

股市老人

ThreadLocal底层源码解析

快乐非自愿限量之名

Thread 底层源码

神经元科技发布AI Agents—“萨蔓莎”

科技热闻

Rectangle Pro for Mac(原Hookshot光标快速移动和管理窗口的工具)

Rose

Rectangle Pro for Mac mac窗口管理工具 Hookshot光标

简单清晰的Redis C++客户端

王玉川

c++ redis 开源 发布订阅 流水线

保护你的游戏服务器——游戏盾的功能和优势

德迅云安全_初启

Mac操作系统的专业音频处理软件:Hit'n'Mix RipX DAW PRO

Rose

音频处理器 苹果破解软件下载 Mac音频处理 Hit'n'Mix RipX DAW PRO

文心一言 VS 讯飞星火 VS chatgpt (170)-- 算法导论13.2 3题

福大大架构师每日一题

福大大架构师每日一题

RocksDB深度解析

俞凡

架构

2023 总结:我在上海做程序员的第八年

拭心

android 程序员 年度总结

IINA for Mac:功能强大的开源媒体播放器

Rose

mac视频播放器 IINA下载 好用的苹果媒体播放器 IINA for Mac下载

macOS 上最完整、最通用、最强大的菜单栏日历:Calendar 366 II

Rose

Mac日历软件 苹果破解软件下载 Calendar 366 II中文版 Calendar 366 II Mac下载 菜单栏日历工具

笔记:写Flink SQL Helper时学到的一些姿势

泊浮目

vscode ANTLR antlr4 FlinkSQL

C 语言数组教程:定义、访问、修改、循环遍历及多维数组解析

小万哥

程序人生 编程语言 软件工程 C/C++ 后端开发

什么是数据驱动?它和模型驱动、领域驱动、元数据驱动、DSL驱动之间有什么区别?

canonical

领域驱动设计 低代码 领域驱动 Nop平台

炫酷鼠标悬停随机渐变文本动画效果

南城FE

CSS 前端 css动画

AI数字人直播间搭建教程!

青否数字人

数字人

DAPP矩阵公排模式系统开发

l8l259l3365

CodeWhisperer: 让开发效率翻倍的AI助手

不会算法。

跨界宠粉!五粮液包机送“五粉”直击湖南跨年晚会!

新消费日报

Merlin Protocol 推出 BRC20 Indexer Oracle 基础设施

中本聪研究院

区块链

揭密支付安全:为什么你的交易无法被篡改

隐墨星辰

支付系统 签名验签 支付安全 支付系统设计与实现

Casper Network 推出 “DevRewards” 计划:允许所有开发者赚取激励

EOSdreamer111

思维导图、头脑风暴:MindNode for mac完整中文破解版

Rose

mac思维导图软件 MindNode 5 MindNode破解版下载 MindNode for mac

流行的机器学习算法——线性回归

小齐写代码

大数据分析引擎Apache Flink升级成为Apache顶级项目_开源_李士窑_InfoQ精选文章