【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

主流大数据厂商激烈角逐湖仓一体新架构,华为云引领技术潮流

  • 2021-05-12
  • 本文字数:3232 字

    阅读完需:约 11 分钟

主流大数据厂商激烈角逐湖仓一体新架构,华为云引领技术潮流

2021 年上半年,湖仓一体俨然已经成为大数据领域最火热的流行词,各大云厂商推出自己的湖仓一体产品,在众多产品中,企业如何找到符合自身需求的数据管理产品?


近日,国际权威分析机构弗若斯特沙利文 Frost & Sullivan(以下简称“沙利文”)发布了《2020 年中国数据管理解决方案市场报告》,对中国主流大数据厂商从产品创新能力、成长能力、基础能力三个维度进行了全面评估。华为云凭借 FusionInsight 的持续创新位居中国数据管理解决方案领导者,并在中国大数据厂商中全面领先。



沙利文用 Frost Radar(弗若斯特雷达)清晰明了地展示中国数据管理解决方案市场态势。横坐标代表“创新指数”,体现服务丰富度和产品调优能力;纵坐标代表“成长指数”,衡量产品功能和性能的竞争力,色深代表“基础指数”,体现大数据平台基础能力。


华为云位居右上角的领导者区间,三项指标均领先国内其他大数据厂商,其主打解决方案华为云 FusionInsight 智能数据湖是获得沙利文认可的关键。


报告还指出,预计到 2024 年,中国大数据硬件市场规模为 111 亿美元,中国大数据软件市场规模为 162.3 亿美元,中国大数据整体市场规模即为两者之和——273.3 亿美元,即将到来的百亿级美元市场,考验着数据管理厂商的能力边界。

大数据管理:不仅要存得好更要用得好


在行业发展的不同阶段,数据管理解决方案所要面临的主要矛盾截然不同,此前数据管理解决方案的重点分别是数据的数量、种类和速度,现阶段企业对数据管理解决方案的需求,逐渐聚焦于数据如何支撑重要决策,并不断促使数据管理解决方案走向湖仓一体,提升企业的数据价值创造力。


数据仓库与数据湖是企业经常会使用到的两种数据管理解决方案,数据仓库到数据湖的演进并不是替代关系,数据仓库诞生较早,借鉴了数据库的数据理念,通过预先定义 schema,将结构化数据清洗提炼,提供数据服务和管理能力。


数据湖则诞生于半结构化、非结构化数据的海量增长背景之下,以原始形态存储数据并且逐渐发展数据处理能力,成为可以运行不同类型的大数据工具,对数据进行大数据处理、实时分析和机器学习等操作的统一数据管理平台。


在面对愈发复杂的大数据场景时,数据仓库与数据湖各自的弊端显现,也就有了湖仓一体产品的诞生,相较于单一使用数据湖或数据仓库,湖仓一体将两者的优势兼容并蓄。湖仓一体的数据管理解决方案具备事务支持、数据的模型化和数据治理、BI 支持、存算分离、灵活开放、支持多种数据类型、支持各种工作负载、端到端流等特性,此外,数据的安全和访问控制也十分重要,契合云计算时代企业的业务模型。


华为云 FusionInsight 智能数据湖为政企客户提供“湖仓一体”的解决方案,提供 MRS 云原生数据湖、GaussDB(DWS) 云数据仓库、DGC 数据湖治理中心、GES 图引擎、DLI 数据湖探索等云服务,用于离线分析、实时分析、数仓集市、交互查询、实时检索、多模分析、数据接入治理、图计算等海量数据分析场景,实现政企客户一企一湖、一城一湖的业务模式。

湖仓一体、云化部署已是大数据主流趋势


大数据平台的发展历史就是一部企业探索数据价值的历史,当业务发展与现有技术产生矛盾,总会有新的技术浮现,Spark、Flink、Hudi、ClickHouse、HetuEngine 等等技术尽皆如此,大数据平台不断查漏补缺,最终由单点式的工具演变为全栈式的系统。


传统数据管理解决方案一般部署在通用服务器之上,近年来数据仓库和数据湖的整体上云趋势愈演愈烈,美国市场还诞生出一些备受关注的独角兽企业,而在中国市场,云化部署也成为数据管理解决方案的大趋势。


沙利文报告提出,大数据云化部署方案将成为主流。在存算分离理念的基础上,云化服务完美应对了弹性扩展、功能迭代、成本控制等需求,在资源需求差异化的场景中实现资源的合理配置。同时,按客户业务需要,弹性发放的云化服务显著节约了使用等待时间。


华为云得以进入领导者区间,很大程度上也是因为其覆盖数据全生命周期的全栈式数据管理能力,由采、存、算、管、用的全面云化,再到湖仓一体的一站式融合分析,FusionInsight 智能数据湖提供的湖仓一体架构,帮助客户构建一企一湖、一城一湖。


华为云 FusionInsight 湖仓一体架构提供灵活的多样性算力和存算分离方案,符合当下的企业需求。MRS 云原生数据湖实现了一个架构可构建逻辑、实时、离线 3 种数据湖,HetuEngine 提供跨湖、跨仓、跨云的协同分析,Hudi 支持 ACID 数据实时增量入湖,提供 ClickHouse 毫秒级 OLAP 分析、Flink 批流合一等实时处理能力,离线数据湖拥有交互式、BI、AI 等多个计算引擎,一个平台实现海量数据多场景分析。


GaussDB(DWS) 云数据仓库同时具备分析及混合负载能力,具有高性能、高扩展、高可用等特点,广泛应用于汽车、制造、零售、互联网、金融、政府、电信等行业核心分析决策系统。


DGC 数据湖治理中心是一站式数据开发集成管理平台,包含数据架构、标准规范、数据开发、数据质量等功能,支持 40+ 异构数据源、全拖拽开发,效率提升 3 倍,助力企业快速构建从数据接入到分析的 E2E 数据治理体系,统一数据标准,加速数据资产沉淀。


GES 图引擎是中国首个商用的、拥有自主知识产权的原生图产品,具备多项自主专利。针对以关系为基础的图结构数据,应用于社交 APP、关系分析、物流配送、知识图谱等场景。


数据湖探索 DLI 提供 Serverless 的融合处理分析服务,企业使用标准 SQL、Spark、Flink 就可轻松完成多数据源的联合计算分析,挖掘和探索数据价值。

数据兑现价值,FusionInsight 深入核心业务场景


伴随数据管理解决方案的底层设施逐渐成熟,技术升级和服务应用场景拓展的加速及深化,数据管理解决方案行业应用逐渐向各领域的核心业务延伸,数据管理解决方案产品与应用场景融合加深。


华为云 FusionInsight 智能数据湖深入各行业客户需求,已经规模商用湖仓一体创新技术方案,以数据驱动各行业业务增长。据了解,华为云 FusionInsight 客户覆盖全球 60 多个国家 3000 多家客户,覆盖政府、金融、运营商、电力、传媒、医疗、教育、交通、油气、物流、零售、制造等行业。


政务领域,在政务数字化参与部委、各省市智慧城市、数字城市建设。在某市,华为云 FusionInsight 联合伙伴建成“一云二网三平台”,针对民生、产业、政府的“痛点”和“难点”,从构建城市数据资源库为开端,以大数据分析支撑政府智慧决策,在 “数聚惠民”、“数聚兴业”、“数聚善政”三大方面,支撑 “一号、一窗、一网” 政务服务,让简政放权、百姓办业务“最多跑一次”成为现实。


金融领域,华为云 FusionInsight 在工商银行、建设银行、招商银行等银行、证券、保险行业广泛应用。在某行使用华为云 FusionInsight 构建大数据基础平台,支撑了一湖两库建设,保障银行 BI、AI、数据挖掘、数据分析等日常数据分析,实现全行即时 BI,加速银行数字化转型进程。


运营商领域,已覆盖国内三大运营商以及海外运营商客户。其中广东移动基于华为云 FusionInsight,联合政企客户共同打造智慧电网、智慧港口、高清视频等系列标杆应用,打通数据全生命周期链路,实现对内业务支撑、对外应用赋能,全面支撑了各类政务、民生等大数据应用服务。


面向大企业客户,覆盖能源、交通、制造等行业客户大数据平台建设。其中深圳地铁采用华为城轨云解决方案,利用云计算、大数据、5G、人工智能等技术核心,建立了统一、开放、智能的城轨数字平台,利用华为云 FusionInsight MRS 云原生数据湖能力构建深圳地铁大数据分析平台,在智慧车站、智慧运维方面,对新技术与地铁场景进行创新融合,推进了车站业务全日自动运行、线上线下一体化客服、设备主动检测、健康管理等应用,探索数字化、高效化的新业务模式,为城市提供更优质的公共交通服务。

写在最后


随着 IoT、AI 等新技术的大量应用,未来 4 年里数据量将激增 4 倍,到 35 年呈 50 倍增长。在政企数字化转型的过程中,湖仓一体将是政企客户实现一企一湖、一城一湖的最佳选择,使得业务洞见更准,数据价值兑现更快。华为云等厂商所倡导的湖仓一体,将持续引领 2021 年大数据领域技术创新潮流,让我们拭目以待。

2021-05-12 15:095183

评论

发布
暂无评论
发现更多内容
主流大数据厂商激烈角逐湖仓一体新架构,华为云引领技术潮流_大数据_InfoQ编辑部_InfoQ精选文章