【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

湖仓一体会成为企业的必选项吗?

  • 2022-01-27
  • 本文字数:2394 字

    阅读完需:约 8 分钟

湖仓一体会成为企业的必选项吗?

作为一种新兴架构,湖仓一体在扩展性、事务性以及灵活度上都体现出了独有的优势,也正因如此,无论在技术圈还是资本圈,湖仓一体都受到了前所未有的关注度。


虽然湖仓一体的优势不言而喻,但其实际在落地过程中还是面临着巨大的挑战,这也让我们不禁发问:湖仓一体架构是否会成为企业的必选项?面向未来,数据平台架构将会朝哪个方向演进?

湖和仓是大数据架构的两种设计取向


湖仓一体出现的契机是什么?想要回答这个问题,需要结合数据仓库与数据湖各自的优劣势来看。


拿数据湖来说,它的特点便是能够保障数据的完整性,因为它存储了结构化数据、非结构化数据以及半结构化数据,其更多会应用在机器学习的场景中。与此同时,由于数据湖本质上就是一个文件存储系统,所以它存在的问题也较为明显:数据不够规范,无法用于数据分析。除此以外,数据湖的维护成本非常高,如果数据量持续上涨,企业需要能力较强的 IT 建设团队。


反观数据仓库,如传统数据仓库 Teradata、新兴的云数据仓库系统 Redshift、OushuDB、MaxCompute 等等,它们均没有对外暴露文件系统,而是提供了数据进出的服务接口。由于数据仓库存储的都是结构化数据,所以它支撑业务决策的效率自然更高。当然,存储结构化数据的前提是事先建模,这也意味着数据仓库的启动成本要高于数据湖。


根据上述不难看出,数据仓库和数据湖是大数据架构的两种设计取向,它们之前一直是并行存在的。由于企业对于数据的需求是一个渐进式的探索过程,前期较为注重成长性的企业,就需要选择数据湖架构;当企业经过了数据创新探索阶段以后,随着数据规模不断增长,处理数据的成本不断增加,出于对业务长远发展的角度考虑,企业就需要数据仓库架构。正是由于两者各自特有的优势和局限性,让企业在进行大数据系统设计时也陷入了困境。

业务驱动架构演进,湖仓一体走向舞台中央


那么业界是否存在一种方案,同时兼顾数据湖的灵活性和云数据仓库的成长性呢?

事实上,架构的演进是由业务驱动的,如果业务侧提出了更高的性能要求,那么在大数据架构建设的过程中,就需要在仓和湖的建设上各自做技术升级。如果企业的数据增长很快,在 PB 级别甚至 10PB 级别,同时还要兼具高性能的数据分析,包括满足从 T+1 到 T+0 的处理能力,那就必须考虑湖仓一体的架构。


现阶段,各大云厂商也陆续推出了自己的“湖仓一体”技术方案,如亚马逊云科技 Redshift Spectrum、微软 Azure Databricks、阿里云 MaxCompute+DataWorks、华为云 Fusion Insight 等等。在大方向趋同的背景下,各大厂商也会基于自身情况调整落地路径,如 Redshift 、MaxCompute 是以数仓为核心,支持访问数据湖;Databricks 则是在数据湖架构上建立数据仓库。


综合来看,湖仓一体架构的主要特征表现在以下几个方面:

  • 统一数据集成,支持分析结构化和非结构化数据;

  • 支持各种工作负载,同时适用于分析师和数据科学家;

  • 打通元数据,数据和元数据可治理;

  • 事务支持,高性能查询和检索能力;

  • 极致弹性,降低数据使用成本。

湖仓一体解决方案应运而生


如果从落地难度的角度出发,湖仓一体本身的技术挑战对企业而言是不容小觑的,因为它要解决“数据湖 + 数据仓库”融合以后的数据流转问题。如果要落地湖仓一体架构,企业首先需要解决技术选型难题;其次是仓或湖到“湖仓一体”的模型迁移、数据迁移以及应用迁移工作;此外,还要保证迁移后的业务一致性和数据的正确性;再之,还需要建立企业自己的数据科学家团队,在湖仓一体平台上去挖掘业务数据价值。


据了解,不乏一些企业对“湖仓一体”的技术认知没有问题,但在管理上却遇到了巨大的挑战。比如,有些企业的组织结构分为数据仓库部门和大数据部门,对数据的管理权限是分开的,这也天然形成了数据鸿沟,如果在组织结构上不做调整,数据共享和价值发现等都会遇到很大难题。


为了帮助企业降低湖仓一体架构的落地门槛,很多厂商也相继推出了湖仓一体解决方案,偶数科技便是其中之一。



由于偶数科技是一家独立的厂商,所以相比于其他云厂商推出的解决方案,它防止了厂商绑定的现象,可以支持部署多云、混合云及跨云;其次,它还能够支持虚拟计算集群,虚拟计算集群之间资源可以隔离,相互不影响;另外由于存算分离的特性,偶数湖仓一体架构的计算和存储分别可以横向扩展,单集群可以支持上万节点,查询性能更高。除此以外,偶数湖仓一体的关键技术还包括可插拔存储、弹性扩展、支持一致性事务、多级资源管理等能力。


相比于湖、仓各一套集群再打通,偶数科技这种湖仓一体的架构的确更加简单,也正是因为这种极简化,使其在运维人员、硬件投入等方面的投入大大减少。

关于湖仓一体架构的未来畅想


虽然湖仓一体是当前的大热点,但面向未来,它还有一系列问题等待被解决:据 Gartner 预测,湖仓一体架构还需要支持三类实时场景:第一类是实时持续智能;第二类是实时按需智能;第三类是离线按需智能,这三类场景将可以通过快照视图、实时视图以及实时批视图提供给数据消费者,这同样是未来湖仓一体架构需要持续演进的方向。


此外,湖仓一体平台还需要解决计算资源虚拟化的问题,并需要支持混合负载,即不同的业务场景可以使用计算资源隔离的虚拟计算集群,这也是云计算的多租户特性在湖仓一体数据平台上的体现。据了解,偶数科技的下一步发力方向便是,基于上述提及的问题,在 2022 年持续进行技术迭代,并会推出兼容各公有云的湖仓一体数据库版本。

写在最后


回归开篇的提问:湖仓一体是否会成为每个企业构建大数据栈的必选项?答案几乎是肯定的,对于高速增长的企业来说,选择湖仓一体架构来替代传统的独立仓和独立湖,将成为不可逆转的趋势。


很多企业出于 IT 建设能力的限制,导致很多事情没法做,但通过湖仓一体架构,之前被限制的数据价值得以充分发挥。如果企业能够在注重数据价值的同时,并有意识地把它保存下来,企业就完成了数字化转型的重要命题之一。我们也有理由相信,伴随着企业的数字化转型,湖仓一体架构也有着更加广阔的发展空间。

2022-01-27 10:173032

评论

发布
暂无评论
发现更多内容

Spring 5 中文解析核心篇-IoC容器之基于Java容器配置

青年IT男

Spring5 Spring Framework

Spring 5 中文解析核心篇-IoC容器之Environment抽象

青年IT男

Spring5 Spring Framework

Spring 5 中文解析核心篇-IoC容器之ApplicationContext与BeanFactory

青年IT男

Spring5 Spring Framework

基于环信sdk在uni-app框架中快速开发一款多平台社交Demo

环信

车队管理软件

samhuang

区块链支付系统开发,数字货币支付承兑商APP模式搭建

13530558032

日防夜防,“隐私窃贼“难防? 手把手教你如何使用OPPO手机管理应用权限

OPPO安全

安全 隐私保护 数据隐私 sdk

从RainbowBridge看Js与Java交互中的安全漏洞

OPPO安全

安全 安全漏洞

区块链usdt承兑商支付系统开发 区块链应用开发

电微13828808271

USDT承兑支付系统开发

Spring 5 中文解析核心篇-IoC容器之AOP编程(上)

青年IT男

Spring5 Spring Framework

CSS常用样式——绘制各种角度的三角形(1)

程序员学院

CSS css3 CSS小技巧

企业表格技术与风险指标补录系统

葡萄城技术团队

SpreadJS

在5G智慧园区的“保龄球道”上,目标全垒打的征途

脑极体

LeetCode题解:84. 柱状图中最大的矩形,循环+双指针暴力,JavaScript,详细注释

Lee Chen

大前端 LeetCode

敏捷转型谁先动:老总,项目经理or团队

华为云开发者联盟

项目管理 敏捷 敏捷开发 团队 华为云

软件工程开发之道:了解能力和复杂度是前提

华为云开发者联盟

软件工程 开发 项目 代码 复杂度

Redis 持久化 --RDB

是老郭啊

redis redis持久化 aof rdb

Spring 5 中文解析核心篇-IoC容器之JSR330标准注解

青年IT男

Spring5 Spring Framework

Spring 5 中文解析核心篇-IoC容器之Spring AOP API

青年IT男

Spring5 Spring Framework

区块链数字货币交易所开发,数字交易平台搭建

13530558032

数字货币钱包软件开发方案,区块链数字货币钱包源码

13530558032

Centos7 mongodb安装全攻略

红泥

mongodb

Spring 5 中文解析核心篇-IoC容器之AOP编程(下)

青年IT男

Spring5 Spring Framework

手把手带你写Node.JS版本小游戏

华为云开发者联盟

Java node.js Node 华为云 剪刀石头布

为什么企业自主开发软件时,都会使用统一的模块化框架式开发平台?

Philips

敏捷开发 代码优化 框架设计 框架开发 标准框架

手把手教程:基于环信4小时开发一个视频会议APP【附源码】

环信

有奖征文火热开赛,万元大奖等你来拿,准备好了吗?

InfoQ写作社区官方

程序员 开发者 音视频 随笔杂谈 RTC征文大赛

合约跟单系统开发,合约跟单软件定制开发

13530558032

Spring 5 中文解析核心篇-IoC容器之SpEL表达式

青年IT男

Spring5 Spring Framework

iWebExcel 协同数据填报和在线分析平台

葡萄城技术团队

SpreadJS

北京首台区块链政务终端亮相 一键“拉取”链上数据

CECBC

区块链技术

湖仓一体会成为企业的必选项吗?_大数据_郑思宇_InfoQ精选文章