飞桨分布式技术揭秘：如何高效训练文心 4.5 大模型｜QCon 上海

如果你也关注 Agent、AI 搜索、多模态、工程化等话题，一定不要错过这 100+可落地的实践案例！

10 月 23 日-10 月 25 日，QCon全球软件开发大会将在上海举办。本次大会将聚焦 Agentic AI、具身智能、强化学习框架、端侧大模型实践、多智能体协作等热门话题，以及 AI 时代下的软件研发、可观测、开源等技术实践，邀请来自腾讯、阿里、字节跳动、华为、蚂蚁集团、小红书等企业的技术专家，和来自清华大学、北京邮电大学、浙江大学的顶尖高校讲师，和你一起重构技术认知与能力边界！

百度资深工程师陈锐彪已确认出席并发表题为《飞桨分布式技术揭秘：如何高效训练文心 4.5 大模型》的主题分享。本次演讲将重点分享飞桨在文心 4.5 系列大模型训练中的性能优化实践，涵盖多模异构 MoE 结构下的工程挑战与系统性解决方案，包括混合并行策略、负载均衡优化、显存效率提升及 FP8 训练等关键技术。

陈锐彪，百度资深工程师，飞桨（PaddlePaddle）深度学习框架研发，曾参与开发飞桨框架静态图执行引擎、自动并行等核心架构。目前主要工作方向为大模型分布式训练，深度参与百度文心系列模型的工程优化工作。他在本次会议的详细演讲内容如下：

演讲提纲

1. 多模异构 MoE 模型的工程挑战

• 视觉模块对流水并行的影响

• 变分数据对负载均衡的影响

• 多模态联合训练对存算均衡的影响

2. 多模型结构混合并行

• 视觉编码并行策略

• MoE 并行策略

3. 分层多模负载均衡策略

• 粗粒度数据重排

• 变长序列并行模式

4. 极致存算均衡技术

• 显存友好 MoE 架构

• 显存优化流水编排

• 细粒度重计算

• FlashMask

• 稀疏掩码技术

5. FP8 训练与优化

• 算子融合

• FP8 通信优化

• FP8 显存优化

6. 大规模集群训练技术

• 高效自动故障感知、定位、容错机制

7. 总结与展望

您认为，这样的技术在实践过程中有哪些痛点？

• 多模型结构混合并行策略的工程实现

• 多模数据负载均衡

演讲亮点

• 针对多模异构 MoE 模型的多模型结构混合并行策略实现，能最大化并行效率

• 多模态负载均衡策略，降低多模变分数据对端到端性能的影响

听众收益

• 了解飞桨大规模分布式技术及其在文心模型上的应用

• 了解大模型训练的难点及其常见解决方案

除此之外，本次大会还策划了多模态融合技术与创新应用、混沌工程与全链路压测实践、Data Infra for AI、Agentic AI、加速与反哺：AI 时代的可观测实践、Vibe Coding、端侧大模型的创新与应用、大模型推理的工程实践、AI 搜索技术的深水区、模型训练与微调、具身智能：当 AI 学会“动手思考”、大模型驱动的制造革命、AI4SE：软件研发提质增效实践、AI 重塑视觉创作体验、从“炫技”走向“实用”的 AI 产品、大模型驱动的智能数据分析等 20 多个专题论坛，届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 上海站现场带来前沿技术洞察和一线实践经验。

现在报名即可以享受 9 折优惠，单张门票立省 680 元，详情可联系票务经理 18514549229 咨询。