10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

腾讯邱跃鹏:面向 Agent 和全球化趋势,全面升级云基础设施

  • 2025-09-16
    北京
  • 本文字数:5393 字

    阅读完需:约 18 分钟

大小:2.75M时长:16:02
腾讯邱跃鹏:面向Agent和全球化趋势,全面升级云基础设施

AI 应用在产业广泛落地,正在推动推理需求暴涨和云基础设施升级。


在 2025 腾讯全球数字生态大会上,腾讯集团副总裁、腾讯云总裁邱跃鹏表示,腾讯云正不断升级云基础设施,以支撑 Agent 规模化落地和企业全球化发展。他介绍,腾讯云已在推理加速、Agent Infra 和国际化布局等方面取得突破,并将以更加开放的姿态,助力企业把握时代机遇。


在推理加速方面,腾讯云深入参与开源贡献,向 DeepSeek、vLLM、SGLang 等社区提交了多项优化技术。针对大模型推理面临的内存瓶颈,腾讯云自研并开源 FlexKV 多级缓存技术,大幅降低 KVCache 的占用,将首字时延降低多达 70%。


邱跃鹏表示,腾讯云持续深度参与并回馈开源社区,同时依托异构计算平台整合多种芯片资源,向外界提供高性价比的 AI 算力。目前,该平台已全面适配主流国产芯片。


为了支持 Agent 的大规模应用,腾讯云推出了 Agent Runtime 解决方案,通过集成执行引擎、云沙箱和安全可观测等五大能力,提供稳定可靠的运行环境。其中,云沙箱基于自研技术,启动时间只需 100 毫秒,支持数十万实例并发。


腾讯云还将 Agent 技术应用于云基础设施,推出的专家服务智能体 Cloud Mate,显著提升了架构治理和故障排查效率。在内部实践中,Cloud Mate 实现风险 SQL 拦截率 95%,排障时间从 30 小时缩短至最快 3 分钟。


在全球市场,腾讯云持续提升自研产品的性能和可靠性。星星海服务器部署已超 2 亿核,旗舰 SA9 在高密技术持续突破,单机核数达到 768 核。专有云 TCE 实现 2 分钟级的 RTO,近金融六级容灾标准。


腾讯云还发布全新架构数据库 TDSQL Boundless,兼具易用性与高并发能力,并通过 AI 优化器在复杂查询中将时延降低八成以上。


腾讯云基础设施已覆盖全球 55 个可用区,部署 3200 多个加速节点,为上万款游戏提供安全防护,在过去一年抵御了同比增长 183% 的 DDoS 攻击。


此外,腾讯云还为中小企业和开发者提供了便捷的出海工具。比如,EdgeOne Pages 结合 AI 编程,几分钟就能搭建电商网站。低代码直播组件也大幅缩短了开发周期。


腾讯云加快国际化布局,并计划在日本大阪和沙特新建可用区,目前全球已经设立 9 个技术支持中心,并获得 400 多项专业认证。


今年,依托适配全球技术生态的产品能力和本地化服务,腾讯云完成印尼版“滴滴+美团”超大规模迁移,过程中仅用 5 个月建成印尼第三可用区。


邱跃鹏最后表示,腾讯云将持续加大在技术创新和全球化布局上的投入,帮助中国企业稳健出海,同时也为全球企业提供安全、可靠、智能的云服务。


以下为演讲全文:


尊敬的各位领导、各位嘉宾、媒体朋友:


大家上午好!我是邱跃鹏。


大模型产业重心从训练到推理的转变,已经成为行业共识。从腾讯自身的实践,我们也看到了同样的趋势,同时客户对于使用大模型和建设 Agent 迸发出强烈热情,这都带来了推理需求的暴涨。从 IDC 咨询公司的数据可以看到,Agent 也将进一步推动推理需求的爆发。这也意味着,我们的 AI 基础设施,也要同步升级。


下面想和大家一起探讨如何通过 AI Infra 的升级,来加速 Agent 的规模化落地。


从技术角度来看,开源社区与推理相关的技术范式正在快速迭代。腾讯在推理加速上一直有非常多的积累,我们积极参与到社区贡献中,共建推理加速技术生态。


今年 2 月,DeepSeek 一口气开源了五大代码库,为社区注入了前所未有的活力。其中,专注 GPU 通信的 DeepEP,与我们长期积累的 TRMT 技术方向高度契合。我们在此基础上优化了 DeepEP,使其在 IB 网络性能提升了 30%,在数据中心常用的 RoCE 网络环境中性能更是翻倍。DeepSeek 在社区公开致谢,并用“huge speedup”形容这次贡献。


第二个重点是 KV Cache 优化。随着大模型参数规模激增,推理对显存的需求急剧上升。同时,智能客服、代码助手等场景,对上下文长度的要求不断扩展,导致推理过程中产生的 KV Cache 线性增长,GPU 显存成为瓶颈。对此,我们将 KV Cache 逐层缓存至内存、SSD 及云端扩展存储,充分利用整个推理集群节点上的存储资源,以及外置扩展资源,以存换算,提高性价比和系统吞吐,并极大降低 TTFT 等延迟指标。


为了解决分布式 KV Cache 和多级缓存的精细管理,并建起推理引擎到云存储的桥梁,我们研发并正式开源了 FlexKV。在知名 SSD 厂商“群联电子”的测试中,FlexKV 将首字时延最高降低 70%,对话时延降低 57%。


推理框架优化对于提升推理效率也非常重要。围绕用户体验、成本控制和应用拓展,我们贡献了多项核心技术,补充到了不同社区框架中。


例如,我们集成了多 token 联合预测 (MTP) 技术,让模型一次运算生成多个 token,将生成速度提升了 35%。我们还帮助社区打通了注意力数据并行 (Attention DP) 功能,将吞吐量提升了 30%。


此外,通过集成 MoE-Chunk 技术,成功使推理框架能够处理超过 256K 的超长输入,使其在长文档分析、复杂代码生成等场景中也能保持高效。


这些成果背后,是腾讯软硬件协同全栈优化的长期战略投入,腾讯始终坚持积极参与和回馈开源社区,并通过腾讯云异构计算平台的软件能力,整合不同类型的芯片,对外提供高性价比的 AI 算力,目前我们已经全面适配主流的国产芯片。


当 Agent 从前沿技术走向企业生产环境,如何确保其在一个安全可信的环境中高效运行成为新的挑战。为此,我们推出了全新的 Agent infra 解决方案——Agent Runtime。


它集成了执行引擎、云沙箱、上下文服务、网关、安全可观测服务等多项产品和能力。可以说,Agent Runtime 为 Agent 提供了坚实可靠的“手”和“脚”,以及至关重要的安全隔离云端执行环境,真正打通了 Agent 从技术到应用的最后一公里。


比如大家最关注的沙箱技术。云沙箱是 Agent Runtime 的核心组件,基于自研的 Cube 沙箱技术,通过“运行时快照”、“资源预创建池化”等多种技术手段,实现了 100 毫秒的极速启动,并能支持数十万 Agent 实例同时并发,这意味着 Agent 无需等待,随时可以投入使用,具备卓越的资源弹性和秒级调度能力。


云沙箱也支持多种灵活的接入方式,无论通过 MCP、SDK 还是 API,都能快速集成,满足不同业务场景的需求。我们还提供了全方位的安全保障,包括严格的身份权限管理和数据安全防护,确保每一个 Agent 都能在一个安全可信的环境中高效运行。


除了面向 Agent 升级基础设施,我们也在思考如何将 Agent 能力应用在客户的云上旅程,帮助客户更好的用云、管云,很高兴向大家介绍腾讯云的专家服务智能体——Cloud Mate。


Cloud Mate 由一系列凝聚了各个云上领域经验的子 Agent 构成,它不仅仅是一项技术,更是腾讯云海量实践的汇总,能够可视化治理云上架构、前置拦截风险,并大幅提升问题处理效率,改变我们管理云的方式。


在云上架构治理方面,具备 Agent 能力的智能顾问就像一个全能的数字架构师,可以无缝集成超过 90% 的腾讯云产品,对整个云上架构进行全面感知和可视化。


例如,在新游上线前必做的重保演练,它能将整个周期从原来的 1 周缩短至 1 天,目前,腾讯云智能顾问已经为云上客户提供,超过 100 万次的智能架构治理服务,是真正值得信赖的云上伙伴。


在风险防范场景,慢查询或低效 SQL 是长期困扰开发与 DBA 的难题,这种业务代码一旦上线,可能严重拖慢数据库性能,甚至导致服务宕机。


Cloud Mate 非常擅长数据库业务,能够深入到代码环节,在开发提交代码前,自动进行风险检测与拦截,从源头保障线上数据库的安全稳定。从内部实践看,Cloud Mate 对风险 SQL 的拦截率高达 95%,累计检测了超过 770 万行代码。


在排障方面,Cloud Mate 带来的改变尤为显著。当客户云上业务系统日益复杂时,如何快速定位问题,是一个巨大的挑战。过去,解决一个复杂问题平均需要 30 小时以上,并且高度依赖于个人经验和手动操作。


而现在,通过 Cloud Mate 强大的自动化和并行编排能力,我们能够将平均排障时间,从小时级缩短至分钟级,最快仅需 3 分钟。Cloud Mate 能够自动执行诊断工具链,并行处理多个任务,极大地提升了运维效率,让故障定位不再是难题。


除了智能化升级之外,企业全球化的趋势也势不可挡。


我们持续打磨产品性能,通过坚实的基础设施建设,助力客户在全球范围拓展业务。


腾讯云自研的星星海服务器从 SA5 到 SA9 持续迭代,通过硬件架构创新,在有限空间内,最大化提升计算密度与能效,旗舰 SA9 单机规格,从前一代的 512 核进一步提升到 768 核,星星海服务器目前在全球累计部署核数超过 2 亿,为客户持续提供稳定可靠的计算能力。


我们还推出了新一代架构的 TDSQL 数据库,让分布式数据库像单机 MySQL 一样好用,同时享受到单机数据库的易用性,以及分布式数据库的海量存储与高并发能力,具备无限的 TP 扩展性与轻量 AP 能力。同时,我们还将 AI 和数据库的优化器结合,在复杂查询场景下,总时延能下降 80%以上。


专有云 TCE 在国内政企客户中备受好评,当我们推向国际市场,“高可用性”也得到了国际客户的肯定。我们持续提升 TCE 容灾切换的一致性、准确性和实时性,目前已经达到 RTO 2 分钟级别,具备近金融 6 级的容灾能力。


游戏体验的流畅性、稳定性和安全性,直接决定着一款产品能否成功走向全球。在今年 Omdia 的报告中,我们与 AWS、Google、Microsoft 等企业,一同被评为全球游戏云平台的领导者。


为了让精品游戏都能高效进入全球市场,我们不断打磨基础设施的健壮性。目前,我们的服务已覆盖全球 55 个可用区,拥有超过 3200 个加速节点,确保游戏能够以极低的延迟触达全球玩家。我们还为全球超过 1 万款游戏保驾护航,成功抵御的 DDoS 攻击次数同比增长了 183%,为游戏的平稳运营筑起了坚实的防线。同时,我们通过 WeTest 和 ACE 等一系列产品,为游戏开发者提供全方位的测试与安全服务,帮助他们在游戏上线前,就彻底排除潜在隐患。


以韩国头部头部游戏集团 Com2uS 为例,他们不仅是成功的游戏开发商,更打造了面向开发者的游戏后端服务平台 Hive。借助腾讯云 40 多款云产品的支撑,Hive 构建了上百个游戏开发和部署组件,并被 90 多家游戏公司接入使用,成功支撑了 250 款游戏上线,服务全球超过 9 亿游戏玩家。今年,他们准备从亚太启航,进一步进军北美市场,而腾讯云依然是他们最信赖的合作伙伴。


我们与创梦天地的合作也持续深化。他们的全新游戏《卡拉彼丘》在全球发行后,不到 2 小时就登顶 Steam 排行榜榜首,背后正是我们 WeTest、大模型服务等能力保障的结果,大幅提升了游戏质量优化和多语言舆情处置的效率,让创梦天地能够更加专注于核心业务,拥抱全球市场。


面向 AI 时代,我们持续升级产品,助力客户轻松进入低门槛的开发新时代。EdgeOne 是我们面向国际市场推出的下一代安全加速产品,今年我们进一步将大模型与 MCP Server 结合,推出了 EdgeOne Pages,当用户使用 Codebuddy、Cursor、VScode 等 AI 编程工具时,可以便捷调用 EdgeOne Pages 的 MCP,在几分钟内完成涵盖注册、支付、加速和安全防护的完整电商网页部署。产品上线三个月,已助力超过 10 万用户走向全球市场,成为中小企业和独立开发者的出海首选平台。


如果客户希望进一步丰富产品的互动能力,我们提供低代码、模块化的互动直播组件,结合目前市面上主流的 AI 编程工具,可以将开发周期从月级压缩至天级,同时支持千万级规模的单房间直播。组件上线半年以来,客户数增长超 300%。


我们致力于通过“边加端”的 AI 整体方案,以极低门槛和极快速度,将创新想法落地为全球产品,释放开发者的生产力。


产品技术的升级,也能让腾讯云的用户更从容应对全球化复杂场景,尤其是瞬时流量洪峰。


过去一年,我们成功护航了多个高并发场景。例如,腾讯云平稳支撑了国家级大型活动的直播,支撑了全球超过 8000 万观众同时在线观看,直播平台全程无卡断。我们还支持并保障了亚太地区超过一半的正版英超直播。其中的智能媒体处理技术,为客户实现了提质增效,保障了音视频全链路的流畅体验。


在安全防护方面,腾讯云的防护容量相比去年增长了 70%,达到了 25T,带宽储备增长 100%,达到 400T。在服务某头部潮玩企业火爆发售的过程中,我们成功应对了全球业务十倍级的流量突发,并通过 AI 实时防刷引擎,将高峰时段黑产比例从 80%大幅压缩到 0.2%。


腾讯云在海外完善的基础设施和本地化服务,也在吸引越来越多的海外本地企业跨云迁移。印尼 GoTo 就是一个典型案例:


GoTo 是东南亚最大的科技集团,合并了印尼两大独角兽企业——负责即时配送和出行服务的 Gojek 和电商平台 Tokopedia。腾讯云负责的 Gojek 业务,是这场迁移中复杂度最高的部分,相当于把印尼的“滴滴+美团”云上搬家。


我们面对的,是一个超大体量的平台:拥有超过 1 亿的注册用户,管理着超过 10000 台云主机、730 多个数据库实例和 1000 多个微服务。同时,其系统极其复杂:四大核心业务线、九个工程子系统,模块间高度耦合。这无疑是一个世界级的云业务迁移挑战。


面对如此复杂的项目,团队驻扎雅加达现场,与 GoTo 紧密协作:高效完成了 500 多项定制化需求交付,让客户 50 多个产品模块在迁移前后的体验和功能无缝延续。为了确保万无一失,进行了 5 轮全链路演练,制定了 20 多项应急预案。


更值得一提的是,为了满足 GoTo 的高可用需求,我们仅用 5 个月就在印尼建成了第三个可用区,为迁移提供了坚实的本地基础设施保障。


过去一年,是腾讯云在海外快速发展的一年。我们在日本大阪和沙特新建了可用区,并已在全球范围内设立 9 个技术支持中心,持续为本地客户提供卓越服务。同时,我们通过了 400 多项专业认证,为企业在安全合规的前提下稳健前行保驾护航。


全球化市场充满挑战,也蕴藏着无限机遇。对于正在或即将出海的中国企业而言,如何稳扎稳打、因地制宜,抓住 AI 技术浪潮驱动创新提效,是每一步都需要认真思考的课题。


腾讯云愿以扎实的准备和开放的心态,帮助全球企业用好云,陪伴中国企业走得更稳、更远。


谢谢大家。

2025-09-16 15:0321

评论

发布
暂无评论
发现更多内容

Nginx 开启 gzip 压缩,让网站飞一会!

左诗右码

nginx

从OpenAI停服看中国市场:国产替代崛起的机遇与挑战

极限实验室

国产替代 openai easysearch

我的上班搭子之有小浣熊的一天-日常统计分析工作应用

老壳有点爽

人工智能 AI 商汤 办公小浣熊 商汤科技

实践指南,终于有大佬把Python和机器学习讲明白了!

我再BUG界嘎嘎乱杀

Python 人工智能 机器学习 开发语言

GitHub星标破千!斯坦福大学的284个机器学习小抄(漫画中文版)

我再BUG界嘎嘎乱杀

Python 人工智能 机器学习 AI 开发语言

提升办公效率!2024年5大主流AIPPT软件一网打尽!

彭宏豪95

人工智能 职场 在线白板 AIGC AI生成PPT

超级实用 Python GUI 入门

我再BUG界嘎嘎乱杀

Python 开发语言 GUI

天润融通分析AI技术助力客户服务,实现满意度三倍增长

天润融通

人工智能

吃个瓜而已,AI居然写了份研究报告??

Openlab_cosmoplat

人工智能 ChatGPT

LeetCode题解:205. 同构字符串,哈希表,JavaScript,详细注释

Lee Chen

多模态合规分析平台,保障AIGC营销新时代对客服务高质合规

中关村科金

以 Go 语言为例解释什么是伪共享以及如何解决

江湖十年

Go 后端 go tool

亮相2024世界人工智能大会,扫描全能王AIGC“黑科技”助力敦煌遗书数字化修复

合合技术团队

人工智能 OCR 合合信息 古籍修复

MYSQL 深入浅出系列 - 锁机制

间隙锁 :MySQL 数据库 临键锁

腾讯邱跃鹏:面向Agent和全球化趋势,全面升级云基础设施_腾讯_腾讯_InfoQ精选文章