大数据和AI不分家,AI助力低代码和智能运维落地,AI智能体的探索实践,本届AS会议一站聚齐!>>> 了解详情
写点什么

“烧钱”的大模型如何为企业“降本增效”助力?腾讯的实践经验来了|ArchSummit

  • 2024-05-14
    北京
  • 本文字数:2314 字

    阅读完需:约 8 分钟

大小:1.13M时长:06:34
“烧钱”的大模型如何为企业“降本增效”助力?腾讯的实践经验来了|ArchSummit

大模型的价值潜能有目共睹,但“成本黑洞”也不失为一个事实。除了寻找最佳落地路径和业务场景之外,大模型的成本问题也一直备受关注。作为一个短板效应明显的系统工程,万亿级参数规模,背后不但涉及巨大的算力资源消耗,还有随之而来的存储、推理、运维、应用等一系列成本。


如何才能让“烧钱”的大模型物超所值,解决绝大多数企业当下最关心的“降本增效”问题?腾讯正在通过实践不断探索和寻求他们的答案。


在 6 月 14 日 -6 月 15 日即将于深圳举办的 ArchSummit 全球架构师峰会上,我们邀请到了来自腾讯多个不同条线的技术专家,从训练框架、开发、落地应用等多个维度分享现阶段企业如何利用大模型实现降本增效的目标。


拿训练框架来说,目前不仅要支持文生文、多模态、文生图、文生视频等大模型训练,还要支持 Dense 和 MoE 模型的训练;不仅要支持小模型的训练,还要支持万亿参数模型的训练;不仅要支持单任务单卡大模型的训练,还要支持单任务万卡规模大模型的训练;不仅要支持同构 GPU 的训练,还要支持异构 GPU 的加速训练,如何满足大模型训练的多种加速需求,成为大模型 AI Infra 的必须解决的挑战。


基于对存储、网络、计算的深度融合优化,腾讯研发了 AngelPTM 大模型训练框架,其通过 6D 并行策略提高模型的训练并行度、通过 ZeROCache 解决大模型训练显存压力大的问题,通过 MOE 加速组件解决超大规模参数模型高效训练的问题,通过与星脉高速网络的协同优化,与算力、服务器、存储等团队的通力配合来解决单任务万卡训练的问题。


据悉,通过 AngelPTM 支持文生文、多模态、文生图 / 视频等大模型的高速训练,单任务万卡训练可实现长时间的稳定高性能训练。


围绕这些话题,腾讯机器学习平台部大模型训练框架研发技术专家薛金宝将在 ArchSummit 深圳带来《腾讯 AngelPTM 大模型训练框架优化与实践》的议题分享。



软件开发是大模型较早入局的落地场景之一,通过与低代码技术的结合,开发效率提升将迈入新的台阶。

具体而言,低代码平台旨在使用少量代码,高效的搭建页面。对非前端从业者友好,提供了开箱即用的无代码数据配置服务,和以 LowCode 进行了管理端研发体系升级。随着大模型的能力飞速提升,大模型的提效能力加上低代码的易用性相辅相成,将让低代码开发效率更高,更大程度降低用户的使用门槛。


在 ArchSummit 深圳,腾讯 PCG 前端技术专家苑宗鹤将分享《AI 在低代码平台搭建中的运用和挑战》。



行业探索方面,腾讯云利用 RAG 技术结合私域知识,基于腾讯云行业大模型构建了 AI 智能助手,对内提升服务效率的同时,还对外提升客户自助服务降低成本,在此过程中沉淀出企业智能知识库的解决方案。此外,基于过去多年沉淀服务数据,腾讯云通过大模型理解力,构建发现问题 - 量化分析 - 改进优化 - 线上验证的闭环,持续提升自身云产品的竞争力。


腾讯云安灯产品 & 研发总监许小川将在 ArchSummit 深圳分享《腾讯云安灯 AI 大模型应用实践和探索》。腾讯云安灯是一款服务于腾讯云内部、伙伴及客户的一站式 IT 服务管理平台。随着 LLM 技术迅猛发展,其在 AI 大模型应用上做了诸多实战,帮助腾讯云、伙伴及客户降本提效、提升服务水平。



除此之外,在工业质检场景,腾讯云还联合头部标机客户,结合其在所属场景的数据优势,提供基于公有云 / 私有化服务集群的质检大模型训练服务,并与端侧单机软件打通,实现在质检行业呼唤已久“0 样本、秒换型、快应用”的新范式突破。


工业 AI 质检,从能不能到快不快,到是否能更快。腾讯云采用的解决方案是一体化方案,标准平台建设,云 + 端协同。该方案已经在 3C/ 锂电 / 光伏等复杂质检项目落地,获评工信部最佳实践,IDC 市场排名第一。


对此,腾讯云高级产品专家王刚将在 ArchSummit 深圳带来《大模型时代的工业质检方法论》的议题分享。



当然,大模型不是企业降本增效的唯一手段,也不是眼下需要重点关注和跟进的唯一技术。在建造 AI 智能化这座“高楼”的过程中,基础的技术基底也必须打牢。


比如,如何持续提升可观测性技术中日志检索和分析等核心能力?据了解,腾讯云 CLS 利用统一资源池理念,消除了系统中各个层次的 IO 资源隔离,实现了成本降低 90% 的目标;同时在优先控制成本的前提下,通过消除全地域算力资源隔离,实现了大规模分析能力提升数十倍。


在 ArchSummit 深圳,腾讯云专家工程师林兆祥详细介绍“降本九成,提效十倍”的目标究竟是如何达成的。



与此同时,大模型的盛行也将重塑微服务架构。微服务架构的广泛应用,把大而复杂的业务系统拆分成高内聚的微服务,对整个系统实现解耦。每个服务负责相对独立的逻辑,但是要实现业务价值,需要协调所有服务保证端到端业务流的成功。


腾讯星星海实验室架构师叶彬将在 ArchSummit 深圳分享《弹性可伸缩海量工作流引擎建设实践》,具体从业务场景出发(海量服务器全链路运营),并结合真实的业务痛点,阐述在落地过程中如何开创性实现了弹性可伸缩架构,使得该引擎具备千万级多层嵌套流程毫秒级调度、峰值十万 QPS、秒级容灾自愈的基础设施流程调度能力,有效支撑海量服务器全链路数亿级作业场景。



除了腾讯的众多优秀讲师之外,我们也邀请了(以下排名不分先后)阿里巴巴、百度、网易、字节跳动 / 火山引擎等互联网技术大厂, vivo、知乎、高德地图、Uber 、蚂蚁集团、eBay、货拉拉、快手、哔哩哔哩、携程等头部互联网企业,以及 CNCF、Thoughtworks、顺丰集团、美的集团、鸿海科技集团(富士康母公司)、宁德核电、广发证券、微众银行、众安银行、天弘基金等众多机构和企业的专家共同探讨生成式 AI 技术对于企业未来架构的影响。


目前,ArchSummit 深圳大会议程已经上线,并将持续更新,感兴趣的同学请锁定大会官网:https://archsummit.infoq.cn/2024/shenzhen/schedule

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2024-05-14 15:564894

评论

发布
暂无评论
发现更多内容

软件测试/测试开发/全日制/测试管理丨Python 特点与应用

测试人

通义千问Qwen-72B-Chat大模型在PAI平台的微调实践

阿里云大数据AI技术

英特尔宣布收购Silicon Mobility,引领电动汽车能源管理技术发展

E科讯

App可以通过小程序挖掘流量?

Geek_2305a8

Sermant重磅更新,1.3.0 release版本发布

华为云开发者联盟

开源 华为云 华为云开发者联盟 sermant

英特尔酷睿14代处理器系列发布,Arrowlake/LunarLake24年问世

E科讯

使用 Node.js 实现多线程的最佳实践

Liam

JavaScript node.js 性能优化 多线程 后端开发

提升跨境电商独立站用户体验的实用指南!

九凌网络

链上数据分析:解读加密生态的秘密武器

Footprint Analytics

区块链 加密货币

软件开发

Geek_8da502

在CentOS环境下编译GreatSQL RPM包

GreatSQL

低代码开发平台,程序员的提效工具

互联网工科生

低代码开发平台 应用系统 JNPF

使用PAI-DSW搭建基于LangChain的检索知识库问答机器人

阿里云大数据AI技术

即时通讯技术文集(第31期):IM开发综合技术合集(Part4) [共13篇]

JackJiang

网络编程 即时通讯 IM

软件测试/测试开发/全日制/测试管理丨Neo4j 图数据库

测试人

软件测试

多媒体影音库Emby for Mac使用教程

南屿

emby破解版 emby使用教程 Mac多媒体影音库

利用RabbitMQ实现消息投递削峰填谷

百度搜索:蓝易云

云计算 Linux 运维 RabbitMQ 云服务器

IIOT-IPQ6010 support mesh: Form a more powerful network - faster connections

wifi6-yiyi

mesh

Apache Doris 入门 10 问

SelectDB

数据库 大数据 数据仓库 数据分析 apache doris

SourceTree for Mac(Git客户端工具)v4.1.5中文免登陆版 兼容M1

南屿

Mac软件 Git客户端 SourceTree Mac Sourcetree 激活补丁 Sourcetree 中文版

使用vim编辑器,进行保存时报错:E382: Cannot write, ‘buftype‘ option is set详解。

百度搜索:蓝易云

vim 云计算 Linux 运维 云服务器

重新认识Elasticsearch-一体化矢量搜索引擎

京东科技开发者

大模型时代下的新开发范式探索

百度开发者中心

人工智能 深度学习 大模型

软件测试/测试开发/全日制/测试管理丨Git分布式版本控制系统

测试人

Go的执行原理以及Go的命令

百度搜索:蓝易云

Go 云计算 Linux 运维 云服务器

云虚拟主机空间优化指南:如何充分利用你的云空间?

一只扑棱蛾子

云虚拟主机

隐患上报二维码:扫码上报隐患,可实时跟踪整改进度

草料二维码

专为 Mac 用户设计的蓝光播放器:Aiseesoft Blu-ray Player

南屿

苹果软件下载 Mac蓝光播放软件 Aiseesoft Blu-ray Player

大模型:产业智能化时代的新引擎

百度开发者中心

人工智能 大模型

MacOS专用防火墙Paragon Firewall可有效监视控制网络接入

南屿

防火墙 mac软件下载 Paragon防火墙

Mac实用软件推荐:FAF简单实用的磁盘文件搜索工具

南屿

磁盘管理 Mac软件 Find Any File 本地文件查找工具

“烧钱”的大模型如何为企业“降本增效”助力?腾讯的实践经验来了|ArchSummit_腾讯_ArchSummit_InfoQ精选文章