写点什么

数据湖 VS 数据仓库,哪个更好用?

  • 2021-06-30
  • 本文字数:1286 字

    阅读完需:约 4 分钟

数据湖 VS  数据仓库,哪个更好用?

任何数据都需要保护、存储和管理,以便更好地应用。本文对比了数据仓库和数据湖这两个大数据存储和处理中的不同概念,分别从定义、特点和应用方面比较了它们之间的差异,方便你在业务中作出正确的选择。


目前,数据仍然是技术创新的关键之一,任何数据都需要保护、存储和管理以便更好地应用。毋庸置疑,有效和合理的数据利用确实可以为各类企业带来不一样的收益。


本文涉及大数据存储和处理的两个不同概念:数据仓库和数据湖。你将认识到它们的主要优点,并为业务作出正确的选择。

数据仓库:定义、特点和应用


数据仓库是一个用于实现和支持各种业务活动的系统,关系到大数据分析和结构化。通常情况下,数据仓库系统产出的报告被用于目标分析、业务战略发展和工作汇报。


由于采用实时数据分析,该系统可以提供最新的信息,进而很容易应用在业务的各个方面。


数据仓库系统的基本功能包括报告、可视化和商业智能,这使它成为完美的业务分析工具。此外,以下特点也促成了它的广泛应用:


  • 灵活性,无论数据的原始来源是什么,它总能用相同的算法进行提取和转换。

  • 可靠性,数据仓库通常在预定时间更新,这大大减少了实时变化的影响。

  • 可扩展性,能利用任何大小的数据,并适用于任何存储空间。


数据仓库适用于结构化和已处理的数据类型,并提供数据聚合和汇总的只读查询,写入机制和预处理功能使其成为商业分析实施的完美选择。


数据仓库一般应用于银行、金融、公共部门或酒店业,数据存储之前通常要进行预处理。


数据湖:定义、特点和应用


数据湖系统以原始格式存储数据,可以存储结构化(表格或图形)、半结构化(CSV、JSON、日志)、非结构化(电子邮件、文档)和二进制数据(音频、照片等)。


数据湖与其他数据系统主要区别如下:


  • 易用,数据湖可以存储不同来源、不同类型的数据,方便进一步分析和重新安置

  • 组织和结构化,数据是以原始格式进行实时收集和存储

  • 实惠,能为任何规模的数据提供划算的价格

  • 适用于任何时间框架,可以实时或按需更新

  • 无限存储空间,为大数据存储提供优秀的解决方案。


不同于数据仓库,数据湖可以完美地处理不同类型的数据,而且因为能提供高性价比的大数据存储而备受赞赏。


它的这些功能主要提供给数据科学家和工程师,他们需要足够的空间来存储所有的重要数据和项目细节,并在深度学习、实时分析及其他方面采用该系统。



图片来自https://www.n-ix.com


数据湖通常应用于医疗、教育、交通这些行业,它既可以提供实时洞察,还能提供一个检测和预防各种潜在问题的未来预测清单。这些领域通常都需要数据后处理程序,而此类程序可以通过数据湖系统轻松实现。

哪个更好用?


总而言之,是用数据湖还是数据仓库,完全取决于你的需求、目标和期望。


有了数据仓库系统,你可以利用经过组织和预分类的数据达成更进一步的目的,而数据湖系统则可以按原始大小和格式为你存储数据。


在了解每种系统的主要特点以及传统上用于哪些行业之后,你应该会更容易确定哪个系统最适合你的业务。


作者介绍:


Conrad Sturdy,自由撰稿人,热爱户外活动,相信新鲜空气会带来新的灵感。


原文链接:


https://www.datasciencecentral.com/profiles/blogs/data-lake-vs-data-warehouse-what-is-the-difference

2021-06-30 10:533616
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 580.2 次阅读, 收获喜欢 1981 次。

关注

评论

发布
暂无评论
发现更多内容

经验分享 | 搭建帮助中心的最强攻略

小炮

尤达DDD领域驱动设计思想 第一章作业(理解单纯的面向对象设计思想的缺陷)

代廉洁

尤达DDD领域驱动设计思想

好云推荐官丨飞天加速之星怎样选择云服务器ECS?

阿里云弹性计算

阿里云 采购季 好云推荐官

敏捷小游戏的思考-上篇

LigaAI

团队管理 敏捷实践

MongoDB案例分享:如何使用oplog恢复数据

MongoDB中文社区

mongodb

尤达 DDD 领域驱动设计思想 第二章作业(重新划分SmartRM的子域和限界上下文)

代廉洁

尤达DDD领域驱动设计思想

租房小程序

源字节1号

前端开发 后端开发 租房小程序

如何从头到脚彻底解决一个MySQL Bug

华为云开发者联盟

MySQL 数据库 华为云 bug GaussDB(for MySQL)

做毕设用不起GPU?亚马逊云SageMaker免费给你用

亚马逊云科技 (Amazon Web Services)

学习

基于深度学习的时间序列预测

云智慧AIOps社区

一文读懂 MongoDB驱动程序 API

MongoDB中文社区

mongodb

我给公司用了这款工具,领导直接给我涨了两千工资

刘祥

后端技术 编程工具

Flutter 图文并茂列表完整实现

岛上码农

flutter ios 安卓 移动端 3月月更

聊聊 kerberos 的 kinit 命令和 ccache 机制

明哥的IT随笔

数据安全 kerberos

安全app之PHP代码审计

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 代码审计

2 月月更获奖名单公布!获奖的小伙伴速速领取奖励啦!

InfoQ写作社区官方

2月月更 热门活动

租房小程序

源字节1号

前端开发 后端开发 租房小程序

龙蜥开发者说:做开源,兴趣是最好的源动力 | 第1期

OpenAnolis小助手

开源 创作 开发者故事 兴趣是动力

杜绝不良信息侵害未成年,皮皮APP发起语音社交行业自律书

联营汇聚

fastposter v2.6.0 发布 电商海报生成器

物有本末

fastposter 海报生成器 电商海报

威胁驱动的网络安全方法论

喀拉峻

网络安全

你的密钥被我看见了 !逆向获取密钥

H

网络安全 逆向

Hoo虎符研究院| 稳定币的主要分类及发展趋势

区块链前沿News

虎符研究院 稳定币

【Python训练营】Python每日一练----第31天: k倍区间

是Dream呀

3月月更

聊聊编程中的 “魔数”

程序员鱼皮

openGauss社区成立ReleaseManagement SIG

VuePress 博客之 SEO 优化(一) sitemap 与搜索引擎收录

冴羽

Vue vuepress SEO 博客搭建 sitemap

基于微信小程序的大学社团平台的可研方案

CC同学

关于知识库:你需要知道的一切

小炮

什么是以特性为核心的持续交付|阿里巴巴DevOps实践指南

阿里云云效

云计算 阿里云 研发效能 研发 DevOps实践指南

手把手教程|构建无服务器通用文本识别功能

亚马逊云科技 (Amazon Web Services)

架构

数据湖 VS  数据仓库,哪个更好用?_AI&大模型_Conrad Sturdy_InfoQ精选文章