写点什么

Databricks 开源 Delta Lake:让数据湖更可靠

  • 2019-05-26
  • 本文字数:367 字

    阅读完需:约 1 分钟

Databricks开源Delta Lake:让数据湖更可靠

Delta Lake 提供了数据版本控制,能够及时获取文件的每个版本,这一特性对于《通用数据保护条例》(General Data Protection Regulation,简称 GDPR)及其他相关的审计请求来说非常有帮助。文件的元数据存储顺序和数据处理过程保持一致,从而支持相同级别的数据处理和特征增强。


Delta Lake 提供了模式执行功能。可以检查数据类型以及字段是否存在,并强制设置字段以确保数据始终保持干净。此外,更改模式不需要 DDL,可以自动应用变更。


Delta Lake 部署在现有的数据湖之上,它与批处理和流式数据均兼容,并可作为一种新的数据源插入到现有的 Spark 作业中。数据以通用的Apache Parquet格式存储。


Delta Lake 和 MLFlow 也兼容,MLFlow 是 Databricks 在去年推出的最新的开源平台。代码可在GitHub上获得。


查看英文原文Databricks Open Sources Delta Lake to Make Data Lakes More Reliable


2019-05-26 08:006071
用户头像

发布了 526 篇内容, 共 368.6 次阅读, 收获喜欢 712 次。

关注

评论

发布
暂无评论
发现更多内容

算力挖矿系统开发内容(现成案例)

面试官:Java从编译到执行,发生了什么?

Java 架构 面试 JVM

第 19 章 -《Linux 一学就会》- shell脚本的基础

学神来啦

Linux Shell linux一学就会 linux基础

现成矿机挖矿系统开发模板

带你掌握不同平台下,探索JDK源码所需的native方法

华为云开发者联盟

Java jdk 系统 native JDK代码

加密数字货币钱包软件系统开发详情(案例)

矿机挖矿系统软件开发详情(快速上线)

2021MLB CUP 青少年棒球公开赛·秋季赛泉城开战,DC试训带来新希望

科技新消息

区块链多币种钱包软件系统开发费用(案例)

区块链数字货币钱包系统开发公司(案例)

区块链数字钱包系统软件开发详情(搭建)

云原生时代的强强联合:EMQ 映云科技正式加入 AWS 合作伙伴计划

EMQ映云科技

AWS mqtt emq

网络安全—如何预防常见的API漏洞

郑州埃文科技

数据中心 API IP地址

Python代码阅读(第39篇):获取列表出现频率最高的元素

Felix

Python 编程 Code Programing 阅读代码

阿里内部珍藏版:SpringCloud Alibaba第三版(全彩手册)

Java 架构 面试 微服务 大厂

从瀑布式到DevOps,开发流程经历了什么?

飞算JavaAI开发助手

DevOps 敏捷开发

多币种钱包系统开发介绍(现成)

使用myloader恢复数据教程

Simon

MySQL

ffmpeg 开发环境搭建

webrtc developer

ffmpeg

区块链加密货币钱包软件系统开发公司(现成)

020云原生之Pod介绍

穿过生命散发芬芳

云原生 10月月更

随便讲讲Python图像处理库PIL的使用

Regan Yue

Python 10月月更

区块链钱包系统软件开发详情(搭建案例)

👊 【Spring 技术特性】SpringMVC集成Java Bean Validation实现参数检验功能(上)

码界西柚

spring Bean Validation 10月月更

2021MLB CUP 青少年棒球公开赛·秋季赛从济南拉开战幕

科技新消息

金九银十面试了3家大厂Java岗,我得到的知识总结

Java 程序员 架构 面试 大厂

redis在微服务领域的贡献

Java redis 面试 微服务 后端

Vue进阶(幺肆零):vue 新增数组或对象更新后,视图不更新的解决方案

No Silver Bullet

Vue 10月月更

锁仓挖矿软件系统开发模板(源码)

五个维度打造研发管理体系

车江毅

研发管理 软件开发 技术管理 研发体系 研发团队

2021年10月国产数据库排行榜:达梦反超OceanBase夺榜眼,TDSQL实现“四连增”,数据生态加速建设

墨天轮

opengauss TiDB oceanbase 国产数据库 达梦

Databricks开源Delta Lake:让数据湖更可靠_大数据_Alex Giamas_InfoQ精选文章