华为云“智能数据湖”解决之道

以人工智能为代表的创新 ICT 技术兴起与应用，正加速各产业数字化转型进入智能时代：交通+智能，懂你的路；医疗+智能，懂你的痛；制造+智能，懂你所需……

由此可见，数据是关键生产要素，蕴藏巨大的价值。而企业生产活动产生的数据只有不到 2%被保存，不足 10%得到分析利用，数据的价值还远远没有释放！

这次，云湖湖在华为云城市峰会上了解到华为云在面对“数据价值”的挑战提供了“智能数据湖”的解决之道，和大家一同分享。

华为云 EI 智能数据服务域总经理丁响明发表演讲

“人类已经进入了数字经济时代，数据成为数字经济的重要原料，云计算和 AI 好比是炼油厂，对数据开采、 传输、并将其‘智能熔炼’，进行数据‘提纯’，获取商业 &社会价值，进而对源头产生了更多的数据需求周而复始，这样的循环将是智能世界的基本运行规律。但怎样用好数据是需要探讨的话题。”丁响明表示。

数据价值实现面临三大挑战

来自华为全球产业展望(GIV)报告显示，到 2025 年，全球企业应用云化率将达 85%，AI 利用率达 86%，数据利用率将剧增至 80%，全球年数据增量将快速增长到 2025 年的 180ZB，全球数字经济 GDP 将达 23 万亿美金。

数据成为新生产资料，智能成为新生产力，要充分挖掘数据经济价值，企业需要构建领先的数据基础设施，从而打通数据供应全流程，使能数据与业务全连接，提升业务敏捷性。

对数据的加工处理通常包括“采-存-算-管-用”全生命周期管理能力，让数据存得下、流得动、算得快、用得好，帮助客户将数据资源转变为数据资产。虽然各行各业都已经公认数据中隐藏的巨大价值，但在实现过程中，面临多重挑战：

01 数据准备难

花 24 小时采集数据、花 3 小时转换数据做 ETL 入库、花 1 小时准备训练数据、最后只花了半小时训练+推理，得到需要的决策数据…

02 数据融合分析难

传统的烟囱式企业 ICT 建设难以打通数据: 技术栈多、接口不统一，开发周期长；数据类型多，结构化/半结构化/非结构化；数据分析链路长，多系统集成难度大。

03 数据消费难

某企业 IT 系统，数据源 130+万张表，要从海量表中寻找目标数据，耗时 30 天左右，犹如大海捞针；然后将目标数据加工成业务可使用数据，烟囱多、步骤多，错综复杂，又耗时 7 天。导致找数难、取数难。

华为云智能数据湖，以融合架构实现数据融合分析

针对多样性的业务、多样性的系统、多样性的数据带来数据价值变现的挑战，华为云打造了“智能数据湖”解决方案——面向数据采集、存储、计算、分析的数据生命周期，提供了包括数据集成、数据开发、数据建模、数据治理、数据开放的一站式可视化数据管理能力，帮助企业快速构建自己的数据中台，加速数据价值发现。

华为云“智能数据湖”解决方案通过数据统一存储、数据融合分析（DLI）、数据运营使能（DAYU）等关键能力，消除客户使用数据的烦恼、提升实时数据服务能力，拥抱行业数字化。

01 数据融合架构，大幅缩短数据准备时间

• 以往数据等待 1 天，现在数据实时入湖，直接基于原始数据近实时分析；

• 以往数据计算要 4 小时，现在存算解耦，弹性伸缩，3 倍资源，半小时完成计算。

• 以往 T+1 分析，现在采用增量式分析，一次一小批持续分析。

02 数据融合分析，打通数据，减少数据搬家

• CarbonData 应对多种类型数据格式统一存储，实现大数据 &AI 使用同一份数据。

• 数据湖洞察通过联邦计算支持多种数据类型跨源分析。

03 以数据目录为中心，一站式数据运营，更易数据消费

• 以数据目录为中心，快速找到最合适的数据源。

• 一站式数据运营，源头在哪，目的地在哪，数据血缘一目了然 。

• 拖拽式开发，E2E 数据链路编排监控，行业模型算子使治理更高效。

此外，通过在软硬件结合上做出更多努力，华为云智能数据湖具有超高性价比：

大数据和数据仓库服务全面支持鲲鹏芯片的自研基础设施，同等条件下性能提升 20%，成本降低 30%；

华为云大数据+OBS 垂直优化，同等配置情况下 SparkSQL 性能是客户自建集群的 2 倍以上。

总结

截至目前，华为云智能数据湖解决方案及服务广泛应用于金融、医学、物流、互联网、汽车、政府、大企业等行业。面向未来，华为云将与合作伙伴和客户携手创新，用智能数据湖方案帮助企业构建领先的数据基础平台，让企业用户更方便快捷的用好数据，掘金数字经济。