写点什么

数据湖和 SQL 并不矛盾

  • 2020-01-08
  • 本文字数:1766 字

    阅读完需:约 6 分钟

数据湖和SQL并不矛盾

数据量的增加推动了技术的更新和范式的变化。与此同时,SQL 仍然是主流。随着数据的增长和复杂性的增加,SQL 比以往任何时候都更适合分析和转换数据湖中的数据。本文探讨了如何将 SQL 用于数据湖和新的数据生态系统。本文要点:随着数据的增长和复杂性的增加,SQL 比以往任何时候都更适合分析和转换数据湖中的数据。


本文最初发布于 TowardsDataScience,经原作者授权由 InfoQ 中文站翻译并分享。

记得 NoSQL 吗?

NoSQL 数据库的出现带来了巨大的可伸缩性和简单性。


如果我们必须高速处理大量的数据,我们会被告知 NoSQL 是唯一的出路。供应商一直在喋喋不休地讨论 SQL 和中间件代码之间的阻抗失配问题。


现在我们发现,大多数 NoSQL 供应商在花了几年时间来贬低连接之后,都引入了 SQL 层。一些供应商还引入了 SQL 方言,使情况变得更糟。


在 NoSQL 上引入这个 SQL 层似乎是出于对新一代数据库的恐惧,比如谷歌 Spanner,以及提供 JSON、XML 作为一等数据类型的数据库供应商。

Hadoop 呢?

Hadoop 为开发人员提供了 map-reduce 接口,这带来了一些巨大的进步,但同时也带来了很多问题(见 DeWitt 和 Stonebraker 的文章MapReduce:一次大倒退)。


在 Hadoop 上使用 map-reduce 处理数据还有很多需要改进的地方。性能调优、数据倾斜处理、获得最佳吞吐量,所有这些都需要太多的裸机代码更改。


人们尝试了多种受 SQL 启发的方法:


  • Apache Pig:类 SQL 语法、FOREACH 代替 FROM、GENERATE 代替 SELECT;

  • Hive: 用于 SQL-in-Hadoop 的类 MySQL 语法、将 SQL 转换为 map-reduce;

  • Drill、Impala、Presto 和 Pivotal 的 HAWQ:SQL-on-Hadoop,绕过 map-reduce;

  • Spark SQL:SQL on Spark;

  • Apache Phoenix:SQL on HBase;

  • Hadoop 作为已有 DB 的外部表:Oracle Big Data SQL、Teradata SQL-H。


经过多年的“大数据时代”,以及一些 Hadoop 的兼并和破产,我们现在看到了这些技术的幸存者。Hadoop 技术现在更多地存在云中,而不是在本地环境中。现在,在组织中已经不经常看到完整的 Cloudera 或 HortonWorks 栈了。相反,少数几种技术蓬勃发展,现在已广泛用于云数据栈。

数据湖上的 SQL

Stonebraker 很久以前就指出,数据库的性能问题和可伸缩性与 SQL 关系不大,而更多地与数据库本身的设计有关(NoSQL的讨论与SQL无关)。


SQL 的最大优点是它提供了熟悉性和分析数据的表达能力。SQL 的健壮性以关系代数和集合理论为基础。


对于数据湖,我们可以看到以下这些技术。


  • Hive 元数据存储是人们喜爱的数据目录。

  • 在 SQL 层,Presto 作为一个查询层脱颖而出,并在 Amazon Athena、Google Cloud DataProc、Qubole 中得到了广泛应用。

  • Spark 和 Spark SQL 的应用也很广泛。

  • Hadoop 文件系统(HDFS)用的不那么多了,云存储(Azure Blob、谷歌云存储、AWS S3)更受欢迎,CSV、Avro 和 Parquet 文件格式也更受欢迎了。

云数据仓库和数据湖

在原始文件系统上存储的经济性推动了数据湖的创建。SQL 被用于分析数据。


Amazon RedShift Spectrum 可以查询 S3 数据。


Snowflake DB 可以使用 VARIANT 列在数据库中存储 XML、JSON 或 ORC 数据,还可以使用外部表指向 S3 中的数据。


外部表还支持谷歌 BigQuery 和 Azure SQL 数据仓库。

SQL 和 ELT (提取 加载 转换)

数据处理的 ELT(提取 加载 转换)范式将数据转换步骤放在最后。首先从源系统提取数据并将其加载到数据库中。


旧的 ETL 方法 RBAR(逐行处理)与关系数据库执行的基于集合的处理形成了直接的对比,而基于集合的处理构成了 SQL 的基础。


ELT 中,我们现在从源数据库中提取数据并将其放入数据湖中。


SQL 转换在云数据仓库或使用 Presto 完成,并将转换后的数据加载到目标表。


通过 GoldenGate、AWS DMS,或者使用 Workato/Jitterbit/StitchData 等工具或 Kafka 等健壮的事件管道,一点点地向数据湖或数据仓库输送数据。将源系统和加载区域之间的转换最小化。然后使用 SQL 将这些数据转换并加载到仓库和分析层。


ELT 工具链使用 DAG(有向无环图)工具,如 Apache AirFlow 和无服务器函数,而不是旧的 ETL 工具链中类似 AutoSys 这样的调度器。


DBT 是在转换领域流行的另一个工具。像 FiveTran 和 Matillion 这样的云数据处理工具也使用 SQL 和 ELT。Domo 序列化 SQL 来创建转换管道。Looker 基于 LookML 生成 SQL。


原文链接


https://towardsdatascience.com/data-lakes-and-sql-49084512dd70


2020-01-08 08:002448
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 571.3 次阅读, 收获喜欢 1979 次。

关注

评论

发布
暂无评论
发现更多内容

字节再次出圈!GitHub上爆火一星期的算法刷题手册竟出自这人之手

Java~~~

Java 架构 面试 算法 数据结构与算法

开源大数据Meetup回顾 | 第四范式:现代存储架构下的系统优化实践

保姆级教程,小白也能2周搞定3个月的Web开发任务!

博文视点Broadview

使用接口文档快照机制,让接口文档不在频繁变动

CodeNongXiaoW

大前端 测试 后端 接口文档

算法推荐规制!《互联网信息服务算法推荐管理规定(征求意见稿)》公开征求意见

郑州埃文科技

最佳实践 | 单元测试+回归测试在SRS代码提交中的实践总结

腾讯云音视频

SRS

秋招开局痛击!迷惑的阿里三面反手一个感谢信,最终被字节捞起

编程susu

Java 编程 面试 计算机 技术宅

课程排课软件开发

(王经理)专业app小程序开发

ZEGO 教程 | RTC + AI 视觉的最佳实践(移动端)

ZEGO即构

AI RTC 滤镜

终于有人把操作系统,CPU,基础知识,网络一次讲清楚了,绝绝子

Java~~~

Java 架构 面试 TCP 网络

今天我们来谈谈Golang的同步等待组

Regan Yue

Go 语言 8月日更 同步等待组

Shopee物流业务核心数据库架构演变——权衡取舍的艺术

Shopee技术团队

架构 #数据库 #物流 #供应链 #Shopee

仓储管理系统开发介绍

(王经理)专业app小程序开发

超实用?HUAWEI高工总结出15W字的图解计算机操作系统指南手册

Java~~~

Java 架构 面试 TCP 网络

比POSTMAN更好用!在国产接口调试工具APIPOST中使用Mock

Proud lion

大前端 后端 Postman 开发工具 接口文档

如何支持亿级用户分流实验?AB实验平台在爱奇艺的实践

爱奇艺技术产品团队

测试 开发 精准测试 AB testing实战

你还在认为TypeScirpt 是 AnyScript ?

程序员海军

typescript 大前端 javascri

APP DIFF自动化解决方案

爱奇艺技术产品团队

测试 开发 精准测试 Diff i技术会

开源应用中心|这款纯手工打造的开源博客平台,大佬们都在用!

开源

ipfs矿机怎么买?ipfs矿机怎么获取?

ipfs矿机怎么买 ipfs矿机怎么获取

常用正则表达式最强汇总(含Python代码举例讲解+爬虫实战)

Python研究者

8月日更

这一次!我在百度告诉你,当你请求百度时都发生了什么...

程序员 架构 面试 计算机

模块六作业

燕燕 yen yen

架构实战营

小数据与业务的毛细血管

boshi

大数据 深度思考

AI自助帮你换背景,超强实时人像扣图算法开源啦!

百度大脑

人工智能

👊【SpringCloud技术专题】超级详细的Gateway网关的技术指南

码界西柚

网关 SpringcloudGateway SpringCloud Gateway 8月日更

Alibaba新产!Spring+SpringBoot+SpringCloud全家桶进阶小册

Java~~~

Java spring 架构 面试 Spring Cloud

基于 Formily 的表单设计器实现原理分析 ​

全象云低代码

JavaScript 低代码开发 表单设计

堡垒机和防火墙的三大区别分析-行云管家

行云管家

网络安全 防火墙 信息安全 数据安全 堡垒机

是的你没看错,HTTP3来了

程序那些事

HTTP 程序那些事 http3

培训教育系统开发

(王经理)专业app小程序开发

数据湖和SQL并不矛盾_AI&大模型_Shirish Joshi_InfoQ精选文章