漫谈“数据湖”(上)

阅读数:3 2020 年 2 月 9 日 15:08

漫谈“数据湖”(上)

一、数据湖概念的提出

数据湖这一概念,最早是在 2011 年由 CITO Research 网站的 CTO 和作家 Dan Woods 首次提出。其比喻是:如果我们把数据比作大自然的水,那么各个江川河流的水未经加工,源源不断地汇聚到数据湖中。业界便对数据湖一直有着广泛而不同的理解和定义。“数据湖是一个集中化存储海量的、多个来源,多种类型数据,并可以对数据进行快速加工,分析的平台,本质上是一套先进的企业数据架构。”

漫谈“数据湖”(上)

" 数据湖 " 的核心价值在于为企业提供了数据平台化运营机制。随着 DT 时代的到来,企业急需变革,需要利用信息化、数字化、新技术的利器形成平台化系统,赋能公司的人员和业务,快速应对挑战。而这一切的数据基础,正是数据湖所能提供的。

二、数据湖特点

数据湖本身,具备以下几个特点:

1)原始数据

海量原始数据集中存储,无需加工。数据湖通常是企业所有数据的单一存储,包括源系统数据的原始副本,以及用于报告、可视化、分析和机器学习等任务的转换数据。数据湖可以包括来自关系数据库(行和列)的结构化数据,半结构化数据(CSV,日志, XML, JSON),非结构化数据(电子邮件,文档, PDF)和二进制数据(图像,音频,视频)。也就是数据湖将不同种类的数据汇聚到一起。

2)按需计算

使用者按需处理,不需要移动数据即可计算。数据库通常提供了多种数据计算引擎供用户来选择。常见的包括批量、实时查询、流式处理、机器学习等。

3)延迟绑定

数据湖提供灵活的,面向任务的数据编订,不需要提前定义数据模型。

三、数据湖优缺点

任何事物都有两面性,数据湖有优点也同样存在些缺点。

优点包括:

  • 数据湖中的数据最接近原生的。这对于数据探索类需求,带来很大便利,可以直接得到原始数据。

  • 数据湖统一企业内部各个业务系统数据,解决信息孤岛问题。为横跨多个系统的数据应用,提供一种可能。

  • 数据湖提供了全局的、统一的企业级数据概览视图,这对于数据质量、数据安全…直到整体的数据治理,甚至提高到数据资产层面都大有裨益。

  • 数据湖改变了原有工作模式,鼓励人人了解、分析数据;而不是依赖于专门的数据团队的”供给”方式,可以提升数据运营效率、改善客户互动、鼓励数据创新。

漫谈“数据湖”(上)

缺点主要体现在:

  • 对数据的归集处理程度明显缺失,对于试图直接使用数据的用户来说显得有些过于“原材料”化,且数据太过冗余。应对这一问题,可通过”数据接入 + 数据加工 + 数据建模”的方式来解决。

  • 对数据湖基础层的性能有较高要求,必须依托高性能的服务器进行数据处理过程。这主要是来自于海量数据、异构多样化数据、延迟绑定模式等带来的问题。

  • 数据处理技能要求高。这也主要是因为数据过于原始带来的问题。

本文转载自宜信技术学院网站。

原文链接: http://college.creditease.cn/detail/267

评论

发布