写点什么

Databricks 开源 Delta Lake:让数据湖更可靠

  • 2019-05-26
  • 本文字数:367 字

    阅读完需:约 1 分钟

Databricks开源Delta Lake:让数据湖更可靠

Delta Lake 提供了数据版本控制,能够及时获取文件的每个版本,这一特性对于《通用数据保护条例》(General Data Protection Regulation,简称 GDPR)及其他相关的审计请求来说非常有帮助。文件的元数据存储顺序和数据处理过程保持一致,从而支持相同级别的数据处理和特征增强。


Delta Lake 提供了模式执行功能。可以检查数据类型以及字段是否存在,并强制设置字段以确保数据始终保持干净。此外,更改模式不需要 DDL,可以自动应用变更。


Delta Lake 部署在现有的数据湖之上,它与批处理和流式数据均兼容,并可作为一种新的数据源插入到现有的 Spark 作业中。数据以通用的Apache Parquet格式存储。


Delta Lake 和 MLFlow 也兼容,MLFlow 是 Databricks 在去年推出的最新的开源平台。代码可在GitHub上获得。


查看英文原文Databricks Open Sources Delta Lake to Make Data Lakes More Reliable


2019-05-26 08:006024
用户头像

发布了 428 篇内容, 共 297.4 次阅读, 收获喜欢 664 次。

关注

评论

发布
暂无评论
发现更多内容

Spring Security 实战干货:分布式对象SharedObject

Java spring 分布式

十年运维经验总结出的智能运维系统落地方案

小术晓术

人工智能 运维 企业信息化 运维自动化 信息化

七面阿里成功offer,入职就是25k*16薪,还原我的大厂面经

Java 程序员 面试

Flink + Iceberg 全场景实时数仓的建设实践

Apache Flink

flink

百度信息流和搜索业务中的弹性近线计算探索与应用 | 文末送福利

百度Geek说

Java 大前端 算法工程师 技术宅

Android JNI模板与读取系统属性笔记

Changing Lin

android

技术资讯 | 百度智能云拿下MTCS最高安全评级

百度开发者中心

行业资讯

我国首个自主可控区块链软硬件技术体系发布

CECBC

区块链

加油,成功通过阿里P7Java岗面试,分享一些面试心得

Java架构之路

Java 程序员 架构 面试 编程语言

阿里巴巴正式推出2021年金三银四1000道Java工程师面试题手册(含答案)

Java架构追梦

Java 阿里巴巴 面试 架构师 金三银四

安卓驱动开发!系统盘点Android开发者必须掌握的知识点,搞懂这些直接来阿里入职

欢喜学安卓

android 程序员 面试 移动开发

程序员必知的几种限流方案

Java架构师迁哥

IntelliJ IDEA 20周岁啦,为期2天的周年庆活动对开发者免费开放

YourBatman

eclipse ide IDEA IntelliJ IDEA

“删库跑路”,这背后的数据安全你悟到了吗?

BinTools图尔兹

数据库 大数据 数据安全 数据库管理工具 删库

数学,离一个程序员有多近?

小傅哥

程序员 面试

「产品经理训练营」第三章作业

Sòrγy_じò ぴé

产品经理训练营 极客大学产品经理训练营 产品训练营

深扒!用6部分讲完Java性能调优:多线程+设计模式+数据库

996小迁

数据库 JVM 设计模式 多线程 性能调优

为什么这么一道iOS小题目,这么多面试者搞不定?

Geek_24a3d9

面试 技术交流 ios开发

IDEA Malformed argument has embedded quote

会飞的猪

IDEA

DjangoRestFramework框架简介及基本使用

行者AI

RESTful

不明白线程池?那看看这篇,附10道面试题

田维常

线程池

北京朝阳法院借力区块链化解物业纠纷

CECBC

法院调解

阿里直招怒斩“P7“offer,自曝狂啃六遍的面试笔记

Java架构之路

Java 程序员 架构 面试 编程语言

个人信息严控的时代,AI如何实现“安全”的智能营销?

星环科技

大数据

try-catch-finally中的4个大坑,不小心就栽进去了!

王磊

Java 异常处理 try finally

DevOps到底是什么意思?

xcbeyond

DevOps 方法论 软件测试 28天写作

android开发面试准备!Android高级工程师进阶学习,已开源

欢喜学安卓

android 程序员 面试 移动开发

【Mysql-InnoDB 系列】幻读、死锁与事务调度

程序员架构进阶

MySQL 架构 innodb 事务 28天写作

Maintainer 聚光灯:KubeEdge 和 Volcano 的王泽锋

华为云原生团队

开源 边缘计算 华为云 批量计算

Elastic开源协议改了,用户怎么办?

星环科技

产业区块链蓬勃发展 联盟链成为落地应用最大杀器

CECBC

区块链

Databricks开源Delta Lake:让数据湖更可靠_大数据_Alex Giamas_InfoQ精选文章