开源软件 Delta Lake:利用 Spark 让数据湖更可靠

发布于:2019 年 8 月 26 日 15:36

开源软件Delta Lake:利用Spark让数据湖更可靠

Delta Lake( Delta.io )是一个给数据湖提供可靠性的开源存储层软件。Delta Lake 提供了 ACID 事务性,可扩展的元数据处理,以及统一了流处理和批处理。它可以运行在现有的数据湖,并且完全兼容 Apache Spark APIs [Spark 2.4.3+]。Databricks Engineering Manager 李潇即将在 QCon 全球软件开发大会(上海站)2019 分享《Delta Lake:Open Source Reliability for Data Lake with Apache Spark》

听众受益

  • 了解 Delta Lake 可以帮助解决哪些数据质量的问题;
  • 如何将你现有的应用转移到 Delta Lake;
  • Delta Lake 的事务协议是如何实现的;
  • Delta Lake 的未来项目规划;
  • Delta Lake 在 Spark 3.0 的使用。

嘉宾介绍

李潇现就职于 Databricks,管理一跨国团队,专注于 Apache Spark 和 Databricks Runtime 的开发和建设。他是 Apache Spark 项目管理委员会成员。本科毕业于南京理工大学,后在佛罗里达大学(University of Florida)获计算机博士学位, 曾就职于 IBM,获发明大师称号(Master Inventor),在数据处理领域发表专利十余篇。(Github: gatorsmile)

更多大数据分析支撑技术相关内容请关注 QCon 上海 2019。

阅读数:1686 发布于:2019 年 8 月 26 日 15:36

更多 QCon、大数据、开源 相关课程,可下载【 极客时间 】App 免费领取 >

评论

发布
暂无评论
  • 使用 tf.keras 管理 Sequential 模型

    2020 年 6 月 11 日

  • Data Artisans:浴火重生的新一代大数据计算引擎 Flink

    Apache Flink是一个年轻的新型处理引擎,是Spark的主要竞争对手,它设计理念先进,但是工程实现上相对落后。

    2018 年 5 月 4 日

  • ARTS 打卡 (20.06.08-20.06.14)

    ARTS打卡 02.06.08-02.06.16

    2020 年 6 月 14 日

  • 课后总结 -20200606

    周学过中我首明了么架师一础念并架师一色日工的程应具的力需解的题面的战了步认,引了次构训营整课安。得意是通对什是件构这问的析使明了软架的点于关”一要识认到要自的构计够利地除具相的力知外更要是于决个关部

    2020 年 6 月 8 日

  • ARTS - Week Six

    A: Jump Game R: How browsers work - Behind the scenes of modern web browsers T:Chained ternary operator S:4 Things Emotionally Intelligent People Don’t Do

    2020 年 6 月 29 日

  • Gossip 协议详解

    Gossip protocol 也叫 Epidemic Protocol (流行病协议)。Gossip protocol在1987年8月由施乐-帕洛阿尔托研究中心发表ACM上的论文

    2020 年 7 月 22 日

  • 第八周作业 - 命题作业

    有两个单向链表(链表长度分别为 m,n),这两个单向链表有可能在某个元素合并,如下图所示的这样,也可能不合并。现在给定两个链表的头指针,在不修改链表的情况下,如何快速地判断这两个链表是否合并?如果合并,找到合并的元素,也就是图中的 x 元素。

    2020 年 7 月 29 日

  • Snowflake: 云端的弹性数据仓库

    Snowflake是一个构建在云端的弹性数据仓库,也是这个产品背后公司的名字。它的创始人和管理层都有强大的背景。

    2018 年 5 月 14 日

  • 支付宝背后的 OceanBase:国产自研分布式数据库这十年

    蚂蚁金服高级研究员阳振坤:用10年时间打造一个“顶天立地”的产品。

    2019 年 4 月 16 日

  • 吴咏炜:人生漫长,走点弯路在所难免

    35年码龄程序员:人生漫长,走点弯路在所难免

    2020 年 4 月 20 日