写点什么

网易湖仓管理系统 Amoro 进入 Apache 孵化器

  • 2024-03-27
    北京
  • 本文字数:1267 字

    阅读完需:约 4 分钟

大小:626.53K时长:03:33
网易湖仓管理系统 Amoro 进入 Apache 孵化器

北京时间 2024 年 3 月 11 日,Amoro 项目顺利通过投票,正式进入 Apache 软件基金会(ASF,Apache Software Foundation)的孵化器,成为 ASF 的一个孵化项目。

 

根据 Apache 软件基金会的投票结果邮件显示,本次投票共包含 15 个约束性投票和 19 个非约束性投票,所有的投票均为赞成,没有弃权票或反对票。

Amoro,开箱即用的湖仓管理能力

 

长期以来,在 Hadoop、Spark、Flink、Trino 等开源、开放、扩展性强的生态项目的支持下,湖仓已成为企业数字化转型中的重要选型。然而,湖仓的复杂性和技术门槛导致企业落地成本居高不下。

 

Amoro 是建立在开放数据湖表格式之上的湖仓管理系统。2020 年开始, 网易大数据团队在公司内基于 Apache Iceberg 进行湖仓一体架构的探索,孵化了流式湖仓服务 Arctic。

  

2021 年,团队陆续发布 Arctic 0.1/0.2 版本,并在网易云音乐算法团队落地,后在网易传媒、网易有道等业务落地。次年 8 月,网易正式开源了 Arctic,项目受到了广泛关注并开始上线到生产环境中,用户逐渐转变为贡献者。

  

2023 年 8 月,由于对 Arctic 的期望以及项目长期发展考虑,Arctic 正式更名为 Amoro,并发布了新的 LOGO 和官网。今年 3 月,网易将 Amoro 捐赠给 Apache 基金会,提案通过了 Apache 基金会的投票决议。

 

自 2022 年 8 月对外开源以来,Amoro 不断有发现相同痛点的小伙伴加入到社区中,截至目前,Amoro 共有 19 个上线用户和 62 位贡献者。

 

Amoro 旨在提供开箱即用的湖仓管理能力,将湖仓的复杂性留给系统,简化给产品和用户。据介绍,Amoro 的功能主要包括:

 

  • 提供统一的 Catalog 服务,对齐 Hive Metastore、Rest catalog 等开源标准,支持集成 Glue 等商业元仓,帮助引擎和产品构建流批统一的元仓;

  • 提供全托管的湖仓维护功能,包括数据自优化、数据过期、快照清理、元数据同步等,以实现数据在不同引擎之间的高可用性和开箱即用。

  • 支持对接不同的数据湖格式,包括 Apache Iceberg 和 Apache Paimon,以及一种对流批一体场景更加优化的 Mixed 格式。

  • 提供开箱即用的管理工具,包括 DSL 指令、Metrics、Dashboard 等。

 

“让湖仓不再成为互联网企业专宠”

 

根据 Amoro 团队介绍,Amoro 的愿景是依托于 Apache Iceberg、Apache Paimon 等新型数据湖表格式,持续打磨湖仓管理系统的定位和开箱即用的功能,为大数据产品和用户带来以下价值:

 

  1. 降低湖仓应用门槛,融入现代数据栈,为围绕湖仓构建的大数据产品极致瘦身,让湖仓不再成为互联网企业的专宠。

  2. 通过管理系统对维护任务的全托管能力,实现数据湖的自治,让数据治理变得简单和开箱即用。提供全托管维护任务的扩展能力,让湖仓管理变得更为便捷。

  

未来,Amoro 社区将专注于以下方面:

 

  1. 打磨全托管 Function 的框架和能力,持续优化 Built-in Function 功能,突出数据自优化功能与对标方案上的性能和成本优势。

  2. 以社区驱动的方式持续完善 Paimon、Iceberg 的对接能力,按需求对接新的 Format。

  3. 面向管理的各类 DSL 指令实现,帮助产品更好地集成。

  4. 完善 Metrics 以及其他管理功能。

 

相关链接:

Amoro 贡献者列表:

https://github.com/NetEase/amoro/graphs/contributors 

Amoro 2024 roadmap:

https://github.com/NetEase/amoro/issues/2534

2024-03-27 14:376846

评论

发布
暂无评论
发现更多内容

哪些无用敏捷指标正在破坏敏捷转型?

敏捷开发

敏捷开发 敏捷转型 敏捷指标

阿里云故障洞察提效 50%,全栈可观测建设有哪些技术要点?

阿里巴巴云原生

阿里云 云原生 可观测

如何快速优化 CnosDB 数据库性能与延迟:使用 Jaeger 分布式追踪系统

CnosDB

时序数据库 开源社区 CnosDB 工程师有话说

推荐系统系列之推荐系统概览(上)

亚马逊云科技 (Amazon Web Services)

Amazon

Programming abstractions in C阅读笔记: p114-p117

codists

ARTS 打卡第 7 天

自由

ARTS 打卡计划

如何配置Apple推送证书 push证书

雪奈椰子

如何通过观测云的RUM找到前端加载的瓶颈--可观测性入门篇

Yestodorrow

可观测性

leetcode22_Valid_Parentheses_有效的括号

okokabcd

LeetCode

重新定义物化视图,你必须拥有的极速湖仓神器!

StarRocks

数据库 数据仓库 StarRocks 湖仓一体 物化视图

商密大会传捷报|海泰方圆喜获首届“熵密杯”密码应用安全竞赛优胜奖

电子信息发烧客

活动预告|诚邀您参加HICOOL2023全球创业者峰会澜舟科技产品发布会

澜舟孟子开源社区

4 招搞定 Java List 排序

飞算JavaAI开发助手

Java如何检查文件是目录还是文件?

飞算JavaAI开发助手

智能化推送系统——APP出海营销的好帮手

MobTech袤博科技

前端开发 APP开发 前端开发工具 前端‘’

Typora for Mac(Markdown文本编辑器) 1.6.7中文版

mac

Typora markdown编辑器 苹果mac Windows软件下载

软件测试/测试开发丨Python 常用第三方库 pymysql

测试人

Python MySQL 程序员 软件测试 测试开发

2023-08-16:用go语言如何解决进击的骑士算法问题呢?

福大大架构师每日一题

福大大架构师每日一题

IPQ5018|Unlocking Affordable WiFi 6: The Ultimate Solution

wallyslilly

ipq5018'

SQLite数据库实现数据增删改查

芯动大师

Microsoft Office 2019 for Mac中文正式版下载v16.76

mac

office办公软件 Office 2019 苹果mac Windows软件下载

LeetCode题解:2631. 分组

Lee Chen

JavaScript LeetCode

摆脱 OpenAI 依赖,8 分钟教你用开源生态构建全栈 AI 应用

Zilliz

Milvus AIGC LLM langchain cvpstack

一文了解Vue的优点,低代码平台的前端框架采用Vue的好处有哪些?

互联网工科生

Vue 低代码 应用开发 JNPF

在 Dify 轻松调用顶尖开源与国产模型,解锁不同模型的潜力

Dify

ChatGPT 文心一言 ChatGLM 讯飞星火 llama2

Web和云开发,Rust会起飞?

高端章鱼哥

rust Web 云开发

CommunityOverCode Asia 议程上线|Apache Flink 项目实践

Apache Flink

大数据 flink 实时计算

使用 appuploader 工具流程(Windows 版本) 作者:雪奈椰子

来聊聊托管服务提供商(MSP)安全

树上有只程序猿

网络安全 msp

ARTS 打卡第 1 周: Jackson如何自定义属性的序列化策略

前行

#Jackson #正则表达式 #IDEA高效使用技巧

网易湖仓管理系统 Amoro 进入 Apache 孵化器_大数据_褚杏娟_InfoQ精选文章