

Delta Lake 是 Databricks 公司开源的数据湖技术,它在 Parquet 文件格式基础上增加了丰富的数据管理功能,如元数据管理、ACID 事务、数据更新和数据版本回溯等。使用 Delta Lake 可以很方便的将流处理和批处理串联起来,快速构建 Near-RealTime 的 Data Pipeline。
一线实践案例
会议演讲推荐
更多内容推荐
用户权限 -Linux 系统特殊权限
Linux系统特殊权限
2022-08-21
架构实战营 - 模块 1- 作业
架构实战营-模块1作业
2021-12-09
orc file format
orc file format
2023-09-18
RDD 与编程模型:延迟计算是怎么回事?
RDD是构建Spark分布式内存计算引擎的基石。
2021-09-13
mysql 数据表查询
MySQL数据表查询
2022-07-16
计算机网络——分层结构
计算机网络——分层结构
2022-09-08
JVM 分代回收机制和垃圾回收算法
垃圾回收(Garbage Collector,GC),JVM通过可达性分析判断那些对象可回收,而这些可回收的对象就是垃圾,为什么需要回收呢?
2021-12-04
MySQL 性能指标 TPS\QPS\IOPS 如何压测?
QPS(Queries Per Second)就是每秒的查询数,对数据库而言就是数据库每秒执行的 SQL 数(含 insert、select、update、delete 等)。
2023-02-28
什么是大数据:从 GFS 到 Dataflow,12 年大数据生态演化图
要想学好大数据,我们需要先正本清源,弄清楚大数据在技术上到底涵盖了些什么。所以今天这节课,我就从大数据技术的核心理念和历史脉络这两个角度,来带你理解下什么是大数据技术。
2021-09-15
开篇词 | 入门 Spark,你需要学会“三步走”
通过“学、用、写”不断迭代的学习方式,我把零散的开发技巧归纳成了结构化的知识体系。
2021-09-06
一文带你理解 Spark streaming 弹性伸缩
2021-10-29
Apache flink - PartitionNotFoundException
2022-04-08 15:39:11.056 ERROR [Flink Netty Client (:) Thread 8] o.a.f.r.i.n.netty.CreditBasedPartitionRequestClientHandler - received error response from remote: [/11.50.9.166:14755], InputChannelID: [c0008c5d7cafb637a1fb8017ec610f04] erro
2022-04-08
架构训练营总结
之前看过一侧故事:孔明在荆州,与石广元、徐元直、孟公威俱游学,三人务于精熟,而亮独观其大略。亮谓三人曰:“卿三人仕进,可至刺史郡守也。”三人问其所至,亮笑而不言。”后来,石广元等三人果然只做了省部级的官,而诸葛亮则官拜丞相、位级人臣。
2022-05-15
IPv6 报文头深度解析
IPv6报文由IPv6基本报文头、IPv6扩展报文头以及上层协议数据单元3部分组成。上层协议数据单元一般由上层协议报文头和它的有效载荷构成,上层协议数据单元可以是一个ICMPv6报文、一个TCP报文或一个UDP报文。
2022-08-14
Shuffle 管理:为什么 Shuffle 是性能瓶颈?
今天我们用“工地搬砖的任务”来理解Shuffle及其工作原理。
2021-09-22
查找——顺序表的查找和有序表的查找
本文主要讲顺序表的查找和有序表的查找
2022-07-13
学习方法:建立你的大数据知识网络
一篇篇的大数据论文,并不是教科书里的一个章节或者一个知识点,而是对于一个重要的系统问题的解决方案。在读论文之前,先尝试自己去思考和解决对应的问题,有助于你更深刻地理解问题和解决方案的重点。
2021-09-22
一文了解 MySQL 中的日志 redo log、undo log、binlog
一文了解redo log、undo log、binlog、errorlog、slow query log
2022-01-22
Wallys/ Network_Card/2x 2 5G /High power Radio card
802.11AC 802.11AN wifi QCA98822x 2 5G High power Radio card
2022-05-24
推荐阅读
目标识别不出来,根据指南配置了环境变量也没有用
2023-10-30
10- 分布式文件系统简介
2023-09-28
重写 equals 后为什么要重写 hashcode 方法
2023-11-27
深度学习应用开发示例之目标识别
2023-10-16
02|Netflix 推荐系统:企业级的推荐系统架构是怎样的?
2023-04-12
PIRF418:Complaining – Why Can’t People Just Be Real
2024-12-17
1. Spark 的基本概念与核心模块
2023-09-08
电子书

大厂实战PPT下载
换一换 
诸葛瑞麟 | 伊克罗德 华北区技术经理
王成 | 微盟 算法专家
Meng-Ping Kao 高孟平 | 字节跳动 视频架构技术专家
评论