百度CTO王海峰拆解iRAG，称文心大模型仍在持续训练中_AI&大模型_褚杏娟



大小：722.61K时长：04:06

11 月 12 日，在以“应用来了”为主题的百度世界 2024 上，百度首席技术官王海峰在会上宣布文心一言的用户规模已经达到 4.3 亿。此外，王海峰还解读了文心大模型最新技术及应用，如检索增强的文生图、无代码产品秒哒、文心快码等。

大模型搜索增强

据王海峰介绍，在检索增强方面，百度研发了“理解-检索-生成”协同优化的检索增强技术，提升了大模型技术及应用效果；面向不同应用场景的生图需求，进一步研发了检索增强的文生图技术 iRAG，既可以生成精确的图片，也可以进行泛化生图。

那么，大模型是如何做到这一点的呢？

首先，基于大模型对用户的需求进行分析理解，自动规划精确或泛化方案，比如对哪些实体进行增强；接着在增强阶段，对需要增强的实体，检索并选择相应的参考图。最后在生成阶段，自研了多模可控生图大模型，一方面，通过局部注意力计算，在保持实体特征不变的情况下，实现了图像的高泛化生成，比如根据牛顿的肖像生成绘本风格的牛顿；另一方面，通过整体注意力计算，进行高精确的图像生成，比如生成图中的汽车跟原图片保持完全一致。在实际应用中，这个方法也支持用户上传参考图，应用户期望进行生成。

王海峰还笃定地透露，文心大模型仍在持续训练中，更强大的新版本值得期待。

多智能体应用

早在去年 10 月，百度就发布了智能体机制，并研制了系统 2。其核心是思考模型，包括理解、规划、反思和进化，能够做到可靠执行、自我进化，并在一定程度上将思考过程白盒化，从而让机器像人一样思考和行动，自主完成复杂任务，同时在环境中持续学习、自主进化。

人类社会中，一个人掌握的知识和技能终归是有限的。为了完成更加复杂的任务或项目，需要团队协作。同样，智能体为了完成复杂任务，也需要多智能体的协作，比如中心化、去中心化和流水线等模式。多智能体的协作可以有效增强智能系统的整体效能，提升解决复杂问题的能力。

王海峰分享了多智能体在代码场景里的应用——秒哒和文心快码。秒哒采用了智能体的中心化模式，其中的代码智能体通过场景知识的增强，提升了复杂代码生成的质量与稳定性，高效实现用户需要的功能。智能代码助手文心快码升级至 3.0 版本，现场王海峰进一步演示了文心快码完成系统的功能开发、代码测试和问题修复等能力。在开发全流程中，多个智能体流水线协同，大幅提升了程序员的工作质量和效率。

面向产业需求，百度打造了文心大模型矩阵，包括 ERNIE 4.0 Turbo 等旗舰大模型、ERNIE Speed 等轻量模型，以及基于基础模型生产的系列思考模型和场景模型，满足不同应用的需要。而在这背后，文心大模型和飞桨深度学习平台联合优化、持续创新，提升了模型效果、训练效率和推理性能，支撑了文心大模型的广泛应用。

王海峰现场还披露，飞桨文心开发者数量已达 1808 万，服务了 43 万家企业，创建了 101 万个模型。

科技和体育的大模型应用

随着人工智能技术加速进步，AI 在千行百业的应用也越来越深入。在教育科普领域，中国科学技术馆与百度达成战略合作，双方将利用人工智能技术为科普教育注入新活力，赋能智慧科技场馆建设。中国科学技术馆馆长郭哲与王海峰还在现场发布了“科技馆智能体”，助力科普服务触手可及。

王海峰介绍，在体育领域，大模型等人工智能技术辅助国家队备战训练，为运动员夺金争银提供科技支撑。智能跳水辅助训练系统采用云、边、端一体化技术，全自动识别、跟踪、采集、分析每一个跳水动作。基于文心大模型，系统还可以对动作实时打分、精准量化分析，制定训练计划，对运动员身体数据进行科学评估和全面管理。

据悉，早在 2019 年，百度就和中国国家跳水队开展技术合作，研发智能跳水辅助训练系统，为运动员科学训练提供技术支撑。系统采用云、边、端一体化技术，全自动识别、跟踪、采集、分析每一个跳水动作。从运动员起跳到入水这 1.8 秒的时间，录制高速视频，实时反馈到教练手中的平板上，对运动员的姿势、动作等进行针对性的指导。基于文心大模型，系统还可以对动作实时打分、精准量化分析，制定训练计划，对运动员身体数据进行全面管理和科学评估，助力科学高效训练。