你在使用哪种编程语言?快来投票,亲手选出你心目中的编程语言之王 了解详情
写点什么

官宣!开源 Delta Lake 正式加入 Linux 基金会,共同打造数据湖开放标准

2019 年 10 月 16 日

官宣!开源Delta Lake正式加入Linux基金会,共同打造数据湖开放标准

今天,在荷兰阿姆斯特丹举行的 Spark+AI 欧洲峰会上,DataBricks 和Linux基金会联合宣布,开源项目Delta Lake正式成为 Linux 基金会的托管项目。



Delta Lake 由 Databricks 在今年年初开源,该项目旨在与社区共同打造一个开放标准,以管理数据湖中的大量数据,并不断提高数据湖的可靠性、质量和性能(关于 Delta Lake 的更多技术特性可以参考 InfoQ 早前的报道《Databricks 开源存储层 Delta Lake,欲取代传统数据湖》)。成为 Linux 基金会项目后,Delta Lake 原来采用的 Apache 2.0 开源许可将保持不变。目前 Delta Lake 已经被成千上万的组织采用,包括 Intel、阿里巴巴、Booz Allen Hamilton 都是其开源生态一员。为了进一步推动 Delta Lake 开原生态的发展,让更多开发者和企业采用 Delta Lake 并参与贡献项目代码,Databricks 决定让 Delta Lake 成为 Linux 基金会的托管项目并使用开放式的治理模式。


如今,每个公司都希望通过数据科学、机器学习和分析等手段从数据中获得更多价值,但由于数据湖中数据可靠性较差,从数据中获取价值的难度极大。Delta Lake 通过为 Apache Spark 和其他大数据引擎提供可伸缩的 ACID 事务,让用户可以基于 HDFS 和云存储构建可靠的数据湖。自 2017 年 10 月推出以来,Delta Lake 已被四千多家组织采用,每月处理超过 2 exabytes 的数据。


“将 Delta Lake 引入 Linux 基金会这样的中立组织,将有助于开源社区更好地基于该项目开发解决大数据(本地和云端)存储和处理问题的技术,”Linux 基金会战略计划副总裁 Michael Dolan 说,“ Linux 基金会致力于帮助开源社区采用开放治理模式来实现广泛的行业贡献和共识建立,这将有助于改善当前数据存储和可靠性相关技术。”


Databricks 的联合创始人也是开源项目 Apache Spark 的创始成员,如今 Spark 早已成为大规模数据处理的事实标准。Databricks 的首席执行官兼联合创始人 Ali Ghodsi 对 Delta Lake 项目再次经历这一旅程感到兴奋。“我们的团队一直致力于创建开源项目并为之做出贡献,因为我们知道这是最快、最好的创新方式。为了解决不同组织在数据方面的挑战,我们希望保证 Delta Lake 项目真正彻底地开源。借助 Linux 基金会社区的力量和贡献,我们相信 Delta Lake 很快就会成为数据湖中数据存储的标准。


尽管 Delta Lake 最初是为了与 Apache Spark 配合使用而设计的,但如今 Delta Lake 已经构建了一个更加开放且蓬勃发展的社区,且增加了对其他开源数据系统的支持。


阿里巴巴大数据/人工智能副总裁贾扬清表示:


“作为主要的云计算提供商,阿里巴巴一直是各种开源项目(尤其在大数据和 AI 领域)的领导者、贡献者、使用者和支持者。我们一直在与 Databricks 合作开发 Delta Lake 的原生 Hive 连接器,我们非常高兴看到该项目加入 Linux 基金会。我们将继续推动 Delta Lake 开源社区的发展并为之做出贡献。”


英特尔架构、图形和软件副总裁兼机器学习性能总经理李伟(Wei Li)表示:


“英特尔与 Databricks 已经合作了非常长时间,我们共同致力于通过创新的数据分析和 AI 解决方案推动 Apache Spark 技术的发展,并帮助企业做好准备。Databricks 贡献给 Linux 基金会的 Delta Lake 项目是一项相当重要的开源存储技术,可以帮助采用者提高数据湖的可靠性。我们期待加入 Delta Lake 项目,并继续与 Databricks 和 Apache 社区进行合作。”


2019 年 10 月 16 日 18:484822
用户头像
蔡芳芳 InfoQ高级编辑

发布了 584 篇内容, 共 282.5 次阅读, 收获喜欢 1841 次。

关注

评论 1 条评论

发布
用户头像
关于为什么Delta Lake没有选择加入Apache基金会,我们也专门询问了Databricks的同学,得到的答复是“近期Apache基金会政治氛围有点浓厚”,并且本质上Linux基金会的Cloud属性更强。

It’s interesting to see Databricks choose the Linux Foundation for this project, given that its roots are in the Apache Foundation. “We’re super excited to partner with them,” Ghodsi said about why the company chose the Linux Foundation. “They run the biggest projects on the planet, including the Linux project but also a lot of cloud projects. The cloud-native stuff is all in the Linux Foundation.”
展开
2019 年 10 月 17 日 10:34
回复
没有更多了
发现更多内容

区块链交易所搭建技术方案|去中心化交易所开发

WX13823153201

区块链交易所搭建

Redis 数据同步机制--主从模式

是老郭啊

redis 主从配置 主从同步 redis主从 主从复制

Go: gops如何与Go运行时交互?

陈思敏捷

go golang gops

架构师训练营第十三周总结

张明森

usdt跨境入金支付系统搭建|区块链跑分系统开发

WX13823153201

从湖南“软硬兼施”,管窥三湘水畔的智能浪潮

脑极体

3. 站在使用层面,Bean Validation这些标准接口你需要烂熟于胸

YourBatman

Hibernate-Validator Bean Validation 数据校验

一个银行客户经理的“变形记”

华为云开发者社区

人工智能 金融科技

有奖征文重磅来袭,来!一起玩把大的!

有只小耳朵

usdt支付系统开发|承兑商支付跑分系统搭建

WX13823153201

usdt支付系统开发

数字货币交易所开发方案|去中心化交易所搭建

WX13823153201

数字货币交易所开发

为什么企业自主开发软件时,都会使用统一的模块化框架式开发平台?

Learun

敏捷开发 程序设计 开发工具 软件设计 技术方案

ARTS打卡 第15周

引花眠

微服务 ARTS 打卡计划

LeetCode题解:239. 滑动窗口最大值,单调队列,JavaScript,详细注释

Lee Chen

LeetCode 前端进阶训练营

程序的机器级表示-数组的分配和访问

引花眠

计算机基础

Spring 5 中文解析测试篇-Spring测试

青年IT男

Spring5 JUnit

oeasy教您玩转linux010206 蒸汽机车 sl

o

握草,你竟然在代码里下毒!

小傅哥

Java 程序员 小傅哥 bug 有毒代码

翻转链表,机器学习视觉训练,对数据的人工标注,使信息丢失,John 易筋 ARTS 打卡 Week 16

John(易筋)

学习 ARTS 打卡计划 翻转链表 Google论文评判人工预处理 大数据架构Spark

你问我答:容器平台改造后的安全是如何解决的?

BoCloud博云

云计算 容器 微服务 PaaS 博云

用 Python 实现一个简易版的 Pong 游戏 (一)

Matrix Chan

Python Turtle Python游戏

学习 Java,有什么书籍推荐?学习的方法和过程是怎样的?

沉默王二

Java 学习 程序员 书单

读后感之《任正非:以客户为中心》

王新涵

不支持原子性的 Redis 事务也叫事务吗?

海星

Java redis 事务

Golang Package sync 透析

卓丁

golang sync

[翻译] Go Concurrency Patterns: Pipelines and cancellation[Go并发模式]

卓丁

channel pipeline

云图说 | 一分钟带你扫盲云容器黑话

华为云开发者社区

容器 节点 集群

用函数式写法精简Java代码的一个例子

Sean

Java 函数式编程

实战解读丨Linux下实现高并发socket最大连接数的配置方法

华为云开发者社区

Linux TCP socket 高并发

大数据管理:构建数据自己的“独门独院”

华为云开发者社区

大数据 数据湖

给DevOps加点料——融入安全性的DevSecOps

禅道项目管理

DevOps 运维 测试 开发 安全性

云原生场景下企业API 网关选型及落地实践

云原生场景下企业API 网关选型及落地实践

官宣!开源Delta Lake正式加入Linux基金会,共同打造数据湖开放标准-InfoQ