10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

腾讯云与 Gartner 联合发布“Data+AI”白皮书,各行业领军企业分享最佳实践

  • 2025-07-04
    北京
  • 本文字数:7119 字

    阅读完需:约 23 分钟

大小:3.57M时长:20:46
腾讯云与 Gartner 联合发布“Data+AI”白皮书,各行业领军企业分享最佳实践

过去二十年,数据平台的发展随着互联网时代的崛起而不断加速。以谷歌“三驾马车”为起点,包括 2003 年的通用存储系统 GFS、2004 年的分布式计算框架 MapReduce,再到 2006 年的结构化存储 BigTable,奠定了现代大数据技术的基石。随着开源体系如 Hadoop 的崛起,以及 Databricks、Snowflake 这类商业化案例的成功,进一步推动了数据平台的普及,并不断在实际场景中为业务赋能。但与此同时,数据平台也面临使用门槛高、非结构化数据利用率低等诸多挑战。在 AI 能力不断演进的当下,其与数据的深度结合,正为行业提供新的解法。


6 月 27 日,在 2025 年 AICon 全球人工智能开发与应用大会·北京站上,腾讯云副总裁、腾讯云大数据产品负责人黄世飞与腾讯云大数据基础产品总经理程彬,在「Data+AI 下一代数智平台建设」主题分享中提到,为了帮助产业实现智能化转型,腾讯云以数据为基础,以智能为目标,打造了一个为 AI 时代而生的原生一体化 Data+AI 平台。




会上,在 Gartner 高科技与电信行业总经理 Cindy Sun、腾讯云大数据基础产品总经理程彬、云鼎科技副总经理魏明、 CSIG 分析师机构合作负责人胡明、极客邦科技创始人 & CEO 霍太稳等多位重磅嘉宾的共同见证下,腾讯云联合 Gartner 共同发布《Data+AI,下一代数智平台建设指南》白皮书,为更多企业提供智能化转型的参考。



在当日下午举行的 TechoDay「Data+AI:下一代数智平台的最佳实践」技术专场上,云鼎科技副总经理魏明、网易有道 QAnything 首席架构师冯江涛、货拉拉大数据专家章啸、作业帮基础架构研发经理张浩然多位技术大咖,进一步分享 Data+AI 如何赋能企业数智化转型,探讨下一代数智平台的最佳实践。

数据平台的范式跃迁:从“让数据说话” 到 “与数据智能对话”


在过去的二十多年里,数据平台以 CPU 计算分析为核心,目标是“让结构化数据说话”——通过强大的计算引擎、分析能力和报表工具,将数据转化为业务洞察和经营报告,支撑企业数字化决策。


但在 GenAl 时代,数据已经发生根本性变化。《Data + AI,下一代数智平台建设指南》白皮书指出,非结构化数据占当今组织数据的 70%-90%。同时,受 GenAl 计划、多模态数据处理需求的爆炸式增长以及合规性压力的推动,企业对非结构化数据管理的需求急剧增长。预测到 2027 年,专注于多结构化数据管理的 IT 支出,将占数据管理技术和服务总 IT 支出的 40%。


程彬在接受采访时提到,当前企业在数据管理和应用方面,面临的首要问题在于数据整合与管理。尽管许多企业已经建设了数据中台,但真正实现结构化与非结构化数据统一管理的企业仍属于少数。传统工程方法在解决这类问题时面临诸多挑战,比如,数据资产分类长期依赖人工标注,不仅效率低下,还存在人员流动导致的连续性风险。而大模型技术的应用能够通过程序自动完成分类,显著提升效率。


另一个突出痛点是 海量非结构化数据的闲置问题。企业积累的大量图片、视频等非结构化数据往往难以被现有数据平台有效利用,原因在于传统 SQL 等计算工具缺乏处理这类数据的能力。随着大模型技术的成熟,企业对数据的处理能力得到质的提升,不仅能够激活沉睡数据资源,还将深刻影响企业的生产流程和业务模式。


程彬表示,GenAl 时代的数据使用主体和交互方式也在发生改变。在过去,数据主要由数据工程和科学开发团队主导使用,使用方式是“人找数据”,即分析师或工程师主动查询、处理数据。而现在,数据的使用主体转变为大模型本身以及 AI Agent,使用方式是“数据找人”。这也意味着,GenAl 时代的数据平台需要以模型和 Agent 为核心进行重构,Agent 能够主动理解业务需求,带着问题和目标去检索、分析数据,从而提升决策效率。


此外,过去的数据平台主要扮演“静态数据仓库”的角色,被动存储和提供数据。未来的数据平台则需要进化为“实时知识母体”,能够动态整合数据流,并与大模型深度结合,提供实时、可交互的智能支持。


这也要求,未来的数据平台需要更加普惠化、敏捷化、智能化,能够超越传统的数据管理工具,演变为一种能力,让数据智能真正成为触手可及的水、电、煤。 这也是腾讯云在探索的方向——让 Data+AI 协同进化,打造更智能、更易用的下一代数据平台,帮助企业释放数据价值,实现真正的智能化跃迁。


黄世飞在线上致辞视频中谈到,从全世界范围来看,Data+AI 发展路径清晰而多元:美国侧重模型创新与平台生态,OpenAI、Databricks 等公司加速技术范式更新;欧洲将数据主权与合规伦理置于核心;中国则聚焦于将先进技术与产业超大规模的丰富场景深度融合。尽管全球 AI 发展路径各有侧重,但挑战相似,关键在于如何将 AI 落地为生产力,实现智能化跃迁。


面对 GenAl 时代的数据挑战,腾讯云给出的答案是深度融合、全面打通,打造了一个 为 AI 时代而生的原生一体化 Data+AI 平台 DIaaS(Data Intelligence as a Service,集成了多模态数据处理、AI 模型、Data Agent 的“智能操作系统”)。其以数据为基础,以智能为目标,能帮助企业释放非结构化数据价值,并打通“从 Data 到 AI”的价值链,实现流程一体化,为企业构建高效智能的企业级基础设施。

为 AI 时代而生的原生一体化 Data+AI 平台,长什么样?


具体而言,新一代数据智能平台 DIaaS 的构建,需要从运营 & 组织架构升级以及技术突破两大维度进行系统性设计。


在运营 & 组织架构升级层面,数据中台需要从“中台建设”向“组织赋能”进行转变,这种转变既体现在技术架构上,也体现在组织决策模式上。新一代数据智能平台 DIaaS 将推动企业决策机制从以人为核心转向 AI 驱动,形成数字员工与人类专家协同工作的新型组织架构,同时促进数据驱动文化的深度渗透,并助力企业培养具备 Data+AI 复合能力的专业人才。


在技术突破层面,DIaaS 核心能力也有着清晰的演进方向。比如,Data Agent 技术将实现从静态报表到动态认知智能的跨越式升级;计算架构采用一体化设计,在传统 ETL 基础上融合实时计算能力;调度上实现 CPU+GPU+ 混合负载的智能分配,支持从数据工程到训练推理的各类任务统一调度;存储层采用 AI 数据湖技术架构,实现对结构化和非结构化数据的统一管理;并通过超大规模的智能自治,大幅降低运维复杂度,甚至能够随业务发展持续自我演进。


基于这些理念,腾讯云一体化数据智能平台 DIaaS 的整体架构如下:


基础层采用统一存储架构,通过标准化数据服务和多模态数据管理能力支撑企业全量数据资产。在统一存储之上设有统一加速层,除具备传统数据平台能力外,还拥有两大核心能力:一是开放,数据结构完全兼容社区开源格式,方便企业轻松从传统 Data 平台升级至 Data+AI 平台;二是具备统一的元数据服务,助力企业轻松实现数据的统一集中管理。


中间层的统一调度系统构建共享资源池,能够帮助企业降低升级成本。计算层面则采用两条路线并行的方式,既兼容开源生态,又提供自研解决方案。统一开发治理平台可完成数据共享、数据科学、训推等一系列开发工作。在最上层引入 Data Agent,能重构人机交互模式,实现数据处理可视化。


在具体的解决方案层面,腾讯云 Data+AI 平台以数据管理为核心,整合 AI 算力、数据存储分析、数据治理、安全管理以及 AI 模型训练与实时决策等产品服务,提供从数据接入到智能应用的端到端解决方案


其中,在数据探索 / 数据工程 / 开发 / 科学层面,WeDataAgent 通过“Data+AI”双引擎构建了全链路数据智能解决方案。在 Data 层面,以指标平台和治理中心为落脚点打造统一语义层,实现维度建模、指标口径定义和元数据管理标准化。在 AI 层面,通过数据理解与洞察能力、能规划与执行能力、系统集成与扩展能力,提升数据分析效率并牵引治理落地,逐步提升数据质量。


下半年即将发布的腾讯云数据分析智能体 TCDataAgent,将为企业提供一个全托管的智能体服务,用于整合、检索和分析结构化 & 非结构化数据,帮助用户更直观的理解数据,并提取有价值的洞察,同时企业用户也可以基于 TCDataAgent 构建高质量的 AI Agent。


腾讯云 BI 智能助手 ChatBI 能基于大语言模型能力 /RAG/NL2DSL 等技术,准确理解用户语义,对用户数据进行解读,对于数据异常波动,还能进一步拆解影响因素,给用户提供针对性的业务优化建议。大幅降低数据分析门槛,并能结合实际业务场景,智能生成数据洞察报告。


在平台层,为了应对企业数据源激增、数据孤岛严重、开发运维割裂等挑战,WeData DataOps 通过将 DevOps 理念引入数据领域,构建了完整的数据全生命周期自动化管理体系。同时,WeData 将在原有的数据平台基础上,今年会进一步打造 AIOps 功能架构,实现数据管理 - 数据开发 - 模型训练 - 模型加工 - 服务交付的全流程贯通,达成高效和完善的 AI 开发全生命周期管理。


在引擎服务层,数据湖计算 DLC 结合腾讯云一站式数智平台 WeData,提供 DataOps+MLOps 一体化平台解决方案。具体在传统成熟的数据工程链路上,面向企业级机器学习场景进一步提供一体化的 DataOps+MLOps 能力,实现数据工程、SQL、ML 等功能集成于统一平台。


Oceanus 流批增量一体化通过 AI 驱动的代码开发与智能运维管理,结合流处理与实时 AI 深度融合,能够帮助企业解决开发效率低下、运维成本高企、实时 AI 能力缺失等痛点。


即将发布的 AI 数据湖服务 TCLake,则能提供覆盖结构化数据、非结构化数据、AI 模型的多模态数据存储及管理,内置统一元数据、批流一体开放表格式,智能数据管理及负载优化,上层无缝对接腾讯云及主流开源 Data+AI 生态引擎,助力企业高效构建 AI 时代统一、低成本的数据湖基础架构。


而向量数据库作为大模型访问企业数据的“必备方案”,通过将企业内部的结构化和非结构化数据转为向量并存储于向量数据库中,即可构建企业内部的数据枢纽,实现到对企业搜索、智能推荐等应用系统进行全面升级,并结合大模型 LLM 的能力,实现效率、用户体验等方面质的飞跃。


在存储服务层,Data Platform 数据平台解决方案由对象存储 COS、数据加速器 GooseFS、数据万象 CI 等产品组成,提供数据存储、训练加速、数据“智”理端到端的存储解决方案。


数据万象结合腾讯自研元数据管理平台,推出了智能数据检索产品,支持全媒体数据类型的向量与结构化标签的混合检索。在 Data+AI 平台中,MetaInsight(元数据洞察)通过多场景、跨模态的检索服务,帮助客户解决存储数据的管理、分析、检索需求。


目前,腾讯云 Data+AI 解决方案已在零售、泛互联网、医疗等多个行业落地应用。


在零售行业,腾讯云为正大集团构建了基于 WeData、DLC 和 TCHouse 的湖仓一体平台,不仅有效支撑了各类 AI 模型的高效训练,还实现了超过 70% 的性价比提升,大幅优化了企业的运营效率。在泛互联网领域,微信读书等应用的智能问答功能依托于 ES 的向量与文本混合检索技术,即便面对数十亿规模的向量数据,仍能保持毫秒级的响应速度,为用户提供流畅的交互体验。在医疗行业,通过腾讯云智能应用开发平台(TCADP),协助大参林打造了专属知识库 AI“小参”,将药品查询效率提升了 80%,显著提升了医药服务的智能化水平和运营效率。


程彬在接受采访时指出,Data 与 AI 的融合价值正在持续放大,在下一代数据智能平台的跃迁背后,一方面是大语言模型技术的成熟为数据发展开辟了新路径,另一方面在于用户需求的升级。即使是最先进的技术,如果没有真实且规模化的需求支撑,也难以创造实际价值。


因此,大模型技术与用户需求的共振,共同推动了从传统数据平台向数智平台的本质性跨越。这种变革不仅体现在技术能力的提升,更在于对业务需求的深度满足和价值创造方式的根本转变。“从更广泛的角度来看,所有 Data 相关的业务场景,都值得通过 Data+AI 技术重新做一遍。” 程彬说道。

Data+AI:下一代数智平台的最佳实践


在当日下午举行的 TechoDay「Data+AI:下一代数智平台的最佳实践」技术专场上,云鼎科技、网易有道、货拉拉、作业帮则进一步分享了 Data+AI 如何赋能企业数智化转型。

云鼎科技:能源行业基于大模型的数据治理和人工智能应用实践



魏明表示,数据治理能力不足已经成为当前企业数字化转型的最大瓶颈。其核心症结在于数据标准不统一,导致大家对同一数据的理解存在差异,进而影响最终应用效果。同时,对传统企业而言,数字化人才短缺问题也较为突出。此外,数据孤岛、指标不统一等问题也普遍存在,制约着企业的数字化转型进程。


针对这些痛点,云鼎科技与腾讯联合推出了统一数字底座解决方案,通过数据统一存储治理和共性能力集中建设,构建起覆盖数据采集、存储、治理、计算、应用的全流程数字化流水线,为智能化场景提供坚实支撑,有效实现了成本节约、响应提速和体验一致。


通过“内部孵化、外部推广”模式,该解决方案已在山东能源集团、云南能投集团等大型国企成功落地。通过自上而下的数据治理,企业成功破解了“看不清、说不清、管不了、用不上”的数据困局,为 AI 应用扫清了最后一公里障碍。

网易有道:QAnything- 大模型驱动下的知识库问答体系革新与实践



网易有道开源的 RAG 引擎 QAnything,专注于提供本地知识库的精准问答服务;OpenCloudOS 作为国产开源操作系统,则提供了稳定安全的底层计算环境。QAnything 通过与 OpenCloudOS 深度集成,用户只需通过简单的 Docker 命令即可快速部署运行整个系统。OpenCloudOS 在稳定性方面表现优异,宕机率低于 CentOS,经过大规模业务验证,其业务连续性和自动分析成功率高达 90%。更重要的是,作为国产操作系统,它拥有完善的生态支持,能够实现智能化运维和轻量化的云原生容器部署。


在技术实现上,团队经过反复调试和优化,最终实现了一键式部署方案。开发者只需五步操作:准备 Docke 环境、拉取项目、启动服务等,即可在浏览器中体验完整的问答功能。


冯江涛表示,Data+AI 不仅改变工作效率,更能革新工作流程。QAnything 与 OpenCloudOS 的联合解决方案主要面向数字化转型企业,尤其在满足国产化需求方面,开展了多项工作:一是注重稳定性与安全性,实现无缝集成,提升易用性;二是坚持持续创新与功能升级,从优化利用率等五个维度为用户创造价值,提升效率。

货拉拉:大数据存储实践与 AI 时代的应对



此前,货拉拉完成了大数据离线存储从其他云平台向腾讯云的迁移工作。据章啸介绍,腾讯云存储 Data Platform 数据平台解决方案以对象存储 COS 为核心基座,构建了完整一体化的服务架构。该架构包含数据接入层实现跨云迁移功能,中间数据加速层采用 GooseFS 体系实现元数据缓存加速,上层通过数据万象 CI 提供数据处理等能力。


整个迁移过程实现了 40PB+ 大数据基础设施的无缝切换,在数据持续变化的情况下保持业务零中断。迁移完成后,依托 GooseFS 的元数据加速能力,报表产出时间显著优化,整体时效提升 40 分钟,单个任务计算速度提高约 10%。系统稳定运行一年多来,未出现任何由存储引发的问题。


未来,货拉拉计划将在 AI 业务的高带宽吞吐需求上与腾讯云共同探索缓存加速方案,腾讯云 GooseFS-Cache 提供 TB 级吞吐,亚毫秒延迟和百万级 IOPS。在跨云数据协同方面,利用 COS 模型训练能力结合多级缓存机制,实现了数据预热和按需配置化拉取,有效规避跨云带宽限制。

作业帮:构建面向大模型的安全治理体系和应用实践



在 AI 大模型快速发展和数字化进程加速的双重驱动下,信息安全领域正面临前所未有的复杂挑战。一方面,当前 AI 工具的普及显著降低了攻击门槛,使攻击行为呈现组织化、产业化特征,以作业帮为例,以往日均 10 万次的恶意尝试,如今已经攀升到几十万次级别。另一方面,随着企业在智能硬件、AIGC 等多元化业务场景的扩展,数万员工规模的企业网络环境与各类 IoT 设备的接入,形成了庞大而复杂的防御体系需求。


张浩然表示,为应对这些挑战,作业帮建立了三层立体防御体系:网络层通过区域控制隔离、双因素认证和零信任网关构建基础防线;传输层部署威胁监测系统和流量探针实现深度分析;终端层则通过智能 EDR 系统实现 95% 以上的终端安全覆盖。然而,传统安全运营仍面临无效报警过多和处置专业度要求高的双重压力。此外,企业在引入大模型技术时,也遇到了幻觉、推理能力差、数据过时等多项挑战。


为此,作业帮提出了协同智能解决方案:其一,基于 DeepSeek 等长推理大模型,突破多步逻辑推理瓶颈,强化复杂多步骤推导能力,维持上下文逻辑关联一致性。其二,运用 RAG 技术结合向量检索和关键词增强,补全场景上下文信息和历史案例 case,通过运用最小指令方式降低大模型的幻觉。其三,引入智能 Agent,根据决策自动执行处置,实现安全运营的闭环与持续反馈。

写在最后


据 Gartner 预测,到 2028 年,80% 的 GenAI 商业应用将在组织现有的数据管理平台上开发,从而将实施复杂性和交付时间降低 50%;来自至少三个地区的 AI 模型的数据主权和偏见将占 AI 数据管理工作负载的 50%。


《Data+AI,下一代数智平台建设指南》白皮书指出,未来 Data+AI 平台的一体化发展将使数据与 AI 更紧密,推动企业 AI 建设实现飞跃。特别是围绕数据管理生态的融合、自然语言交互的应用,以及数据质量与治理的强化等六个方面的技术升级尤为关键,以此更好地应对未来挑战并抓住技术红利。


“DIaaS 的建设是一个长期而系统的工程,需要行业协同、共同探索”,程彬表示,腾讯云在未来将持续推进三个重点发展方向:在生态建设方面,通过开放 API/MCP,共建数据智能服务生态;在 AI 融合方面,将加入更多多模态大模型、具身智能;在平台能力方面,将从现有的自我优化功能,向更高级的自我修复能力升级演进。


内容推荐


GenAl 应用发展的主要制约因素取决于数据质量,而非算法。面对 GenAl 时代的数据挑战,腾讯云提出 Data+Al 下一代数据智能平台解决方案,并结合腾讯云前沿技术探索与客户实践,为企业构建 GenAl 时代的高价值数据资产提供实用指南。立即扫码或点击【链接】免费下载白皮书,解锁企业数智化升级最优路径。



2025-07-04 15:2710507

评论

发布
暂无评论
发现更多内容

webpack | 进阶用法2:代码分割和动态引入的实现方式

梁龙先森

大前端 webpack 28天写作 2月春节不断更

「抖音同款播放器」上市:有效解决卡顿、黑屏和模糊

字节跳动技术团队

京东支付SDK重构设计与实现

京东数科风险算法与技术

静默安装Oracle也没那么恐怖

MySQL从删库到跑路

oracle

架构训练营大作业(二)

一期一会

区块链在数字版权领域的应用发展报告(2020)

CECBC

版权保护

精美的淘客项目完全开源啦,确定不来围观吗

Silently9527

Vue mybatis springboot uniapp

作业3

瑾瑾呀

滴滴夜莺社区文章有奖征集

滴滴云

最佳实践 奖品 案例分享 滴滴夜莺

Gradle Docker插件将SpringBoot应用程序打包为Docker镜像

wjchenge

Docker SpringBoot 2 Gradle

如何基于Spring 事件驱动模型实现业务解耦

技术进阶之路

Java spring 架构

科技,亲吻这个特别的春节

脑极体

Java并发包源码学习系列:阻塞队列实现之SynchronousQueue源码解析

Java 编程

看完字节大佬的算法刷题宝典,我直接手撕了500道算法算法题

程序员 面试 算法

驱动力读后感之一

张老蔫

28天写作

2021最新「阿里」Java高级工程师面试高频题:JVM+Redis+并发+算法+框架

比伯

Java 编程 架构 面试 计算机

区块链--另一场改变社会组织方式的工业革命

CECBC

区块链

PanoVideoCall 的 Electron Demo 开源了

拍乐云Pano

html Mac windows Electron js

中国为什么加快推进数字人民币

CECBC

数字货币

产品经理训练营课后作业-第三周-产品思维和产品意识

.nil?

产品经理训练营

最简单的map,filter,forEach,every,some的使用教学

coolFish(呔呆)

方法 Vue 大前端 数组 js

架构训练营大作业(一)

一期一会

硬核!八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once(深入原理,建议收藏)

五分钟学大数据

大数据 flink

【LeetCode】子集问题debug模式查看数据变化

Albert

算法 LeetCode 2月春节不断更

欢迎来到,2021摄像机竞技场

脑极体

分页方式,看这一篇就够了。

大伟

分页

如何基于Spring Aware和InitializingBean接口实现策略模式

技术进阶之路

Java spring 5 Java设计模式

产品训练营第三次作业

Geek_79e983

Varchar竟然会自动存储成lob类型?

dbaplus社群

用最少人力玩转万亿级数据,我用的就是MongoDB

dbaplus社群

夕四今晚加班到2点30,而王二还不打算走《打工人的那些事》

谙忆

腾讯云与 Gartner 联合发布“Data+AI”白皮书,各行业领军企业分享最佳实践_腾讯_凌敏_InfoQ精选文章