GMTC全球大前端技术大会(北京站)门票9折特惠截至本周五,点击立减¥480 了解详情
写点什么

开源软件 Delta Lake:利用 Spark 让数据湖更可靠

2019 年 8 月 26 日

开源软件Delta Lake:利用Spark让数据湖更可靠

Delta Lake(Delta.io)是一个给数据湖提供可靠性的开源存储层软件。Delta Lake 提供了 ACID 事务性,可扩展的元数据处理,以及统一了流处理和批处理。它可以运行在现有的数据湖,并且完全兼容 Apache Spark APIs [Spark 2.4.3+]。Databricks Engineering Manager 李潇即将在QCon全球软件开发大会(上海站)2019分享《Delta Lake:Open Source Reliability for Data Lake with Apache Spark》


听众受益

  • 了解 Delta Lake 可以帮助解决哪些数据质量的问题;

  • 如何将你现有的应用转移到 Delta Lake;

  • Delta Lake 的事务协议是如何实现的;

  • Delta Lake 的未来项目规划;

  • Delta Lake 在 Spark 3.0 的使用。


嘉宾介绍


李潇现就职于 Databricks,管理一跨国团队,专注于 Apache Spark 和 Databricks Runtime 的开发和建设。他是 Apache Spark 项目管理委员会成员。本科毕业于南京理工大学,后在佛罗里达大学(University of Florida)获计算机博士学位, 曾就职于 IBM,获发明大师称号(Master Inventor),在数据处理领域发表专利十余篇。(Github: gatorsmile)


更多大数据分析支撑技术相关内容请关注 QCon 上海 2019。


2019 年 8 月 26 日 15:361988

评论

发布
暂无评论
发现更多内容

计算机操作系统基础(十七)---进程同步之Unix域套接字

书旅

php laravel 线程 操作系统 进程

redis系列之——Redis为什么这么快?

诸葛小猿

Java redis 程序员

给 Spring Boot 项目减减肥!18.18M 到 0.18M 是如何做到的?

给你买橘子

Java 程序员 Spring Cloud 编码 SpringBoot 2

游戏夜读 | 如何分析游戏体验?

game1night

刘华:上云还是不上云,这是一个问题

刘华Kenneth

架构 敏捷

玩转Redis高可用 - 哨兵(Sentinel)模式

Man

高可用 redis高可用 中间件

如何搭建一个HBase集群

Rayjun

HBase

RESTful 架构及实践

pingan8787

Java 前端 RESTf

图说前端-使用Atomics避免SharedArrayBuffers中的race conditions(3/3)

梦见君笑

前端 内存管理 前端进阶训练营

SpringBoot入门:01 - 配置数据源

封不羁

Java spring springboot

《精益思想》读后感分享

zhongzhq

高效工作 精益 精益思想 精益生产方式

架构师必须知道的架构知识

Chank

架构 架构师 Architecture Architect

DOM 树的构建

法正

html DOM 前端进阶训练营

图说前端-ArrayBuffers 和 SharedArrayBuffers(2/3)

梦见君笑

前端 内存管理 前端进阶训练营

Git 常用操作汇总-cheat sheet

多选参数

git GitHub gitlab gitee

无价值人生记录.0:浪费1000%时间去做一个用来节省1%时间的“轮子玩具”(上:因缘)

八苦-瞿昙

C# 程序员人生 随笔 随笔杂谈 aop

redis里的数据结构

流沙

redis

终于有人把Elasticsearch架构原理讲明白了,感觉之前看的都是渣

爱嘤嘤嘤斯坦

Java elasticsearch 编程 架构

如果你想写自己的Benchmark框架

程序那些事

JVM 性能调优 GC benchmark

图说前端-内存管理(1/3)

梦见君笑

前端 内存 前端进阶训练营

分布式系统的一些基础理论

俊俊哥

分布式事务 CAP Base

一个爱不释手的Apifox,让我扔掉 Postman的想法

给你买橘子

Java 编程 程序员 开发 Postman

图解:深度优先搜索与广度优先搜索

淡蓝色

Java 数据结构 算法

如何基于 BitMap 进行海量数据分析

GrowingIO技术专栏

互联网 数据分析 科技互联网 数据化

ARTS 打卡 第2周

Scotty

猿灯塔:spring Boot Starter开发及源码刨析(三)

猿灯塔

Java 猿灯塔

啃碎并发(九):内存模型之基础概述

猿灯塔

Java 猿灯塔

16种设计思想 - Design for failure

Man

Java 微服务 设计原则

创业使人成长系列 (2)- 散伙协议

石云升

创业 股权 合伙人 散伙协议

使用 Dockerfile 创建镜像 | Docker 系列

AlwaysBeta

Docker 容器 镜像 Dockerfile 容器技术

基于Kubernetes实现的大数据采集与存储实践总结

岿然独存5

Docker Kubernetes S3 EFK Fluentd

开源软件Delta Lake:利用Spark让数据湖更可靠-InfoQ