【ArchSummit架构师峰会】探讨数据与人工智能相互驱动的关系>>> 了解详情
写点什么

Databricks 开源 Delta Lake:让数据湖更可靠

  • 2019-05-26
  • 本文字数:367 字

    阅读完需:约 1 分钟

Databricks开源Delta Lake:让数据湖更可靠

Delta Lake 提供了数据版本控制,能够及时获取文件的每个版本,这一特性对于《通用数据保护条例》(General Data Protection Regulation,简称 GDPR)及其他相关的审计请求来说非常有帮助。文件的元数据存储顺序和数据处理过程保持一致,从而支持相同级别的数据处理和特征增强。


Delta Lake 提供了模式执行功能。可以检查数据类型以及字段是否存在,并强制设置字段以确保数据始终保持干净。此外,更改模式不需要 DDL,可以自动应用变更。


Delta Lake 部署在现有的数据湖之上,它与批处理和流式数据均兼容,并可作为一种新的数据源插入到现有的 Spark 作业中。数据以通用的Apache Parquet格式存储。


Delta Lake 和 MLFlow 也兼容,MLFlow 是 Databricks 在去年推出的最新的开源平台。代码可在GitHub上获得。


查看英文原文Databricks Open Sources Delta Lake to Make Data Lakes More Reliable


2019-05-26 08:005686
用户头像

发布了 257 篇内容, 共 148.1 次阅读, 收获喜欢 576 次。

关注

评论

发布
暂无评论
发现更多内容

架构师训练营第三周总结

王权富贵

极客大学架构师训练营

架构师训练营-第三周-作业1

seng man

架构师训练营第三周作业

草原上的奔跑

架构师训练营 W3 作业

Kun

第三周作业

数字

第三周总结

uangguan

Week3

第三周学习总结----几种设计模式的练习

Geek_165f3d

第三周课程总结

考尔菲德

第三周-学习总结

molly

极客大学架构师训练营

架构师训练营 第三周-作业

无心水

单例模式 极客大学架构师训练营 组合模式 23种设计模式

设计模式—week3总结

小叶

极客大学架构师训练营

第三周作业

魔曦

架构是训练营

总结

chenzt

架构师训练营第三周作业

olderwei

极客大学架构师训练营

架构师训练营第三周作业

Melo

手写单例和组合模式运用实例

单例模式 极客大学架构师训练营 组合模式

第三周作业

重新来过

Week 03 学习总结

纯纯

<<架构师训练营>>第三周作业二

R20114

架构师训练营第三周作业

战峰

架构师第三课总结

Dennis

架构师训练营第三周学习总结

fenix

架构师训练营第三周-代码重构

草原上的奔跑

第三周感想

数字

<<架构师训练营>> 第三周作业一

R20114

架构师训练营 -week3- 学习总结

暖丶冬

【第三周】架构师训练营作业

星星

【第三周】架构师训练营总结

星星

单例模式小结

L001

架构师 0 期 | 组合模式使用

刁架构

设计模式 极客大学架构师训练营 组合模式

Databricks开源Delta Lake:让数据湖更可靠_大数据_Alex Giamas_InfoQ精选文章