生成式世界模型能否真正用于机器人控制？这是物理 AI 领域备受争议的话题。
生成式模型的预测能力越强，模型参数往往越大，推理延迟也可能越高。而机器人控制恰恰需要极低延迟的闭环反馈。
“你不可能要求 WAM 在一个非常小的体量下达到很强的智能。但模型体量变大之后，自然很难做到实时推理，特别是 50Hz 以下的动作推理。”上海交通大学长聘教轨助理教授穆尧对 InfoQ 表示，“闭环频率过低，一方面会导致卡顿，另一方面在重复定位精度产生误差时，会进一步拉低任务成功率。”
有没有可能在不牺牲实时性的前提下，利用生成式模型的预测和理解能力？
最近，上海交通大学 ScaleLab 团队、上海人工智能实验室联合百度智能云团队，发布世界动作模型 AHA-WAM，致力于解决世界模型用于机器人控制时的推理延迟和时空分辨率错配问题。
AHA-WAM 基于双 DiT 架构，将系统划分为两个步调不一致的组件：一个低频运行的世界规划器，负责建立长时界的潜空间计划并提供可复用的层级潜上下文；一个高频运行的动作专家，以极高的频率预测短程动作块，通过查询规划器提供的上下文来指导执行。
为了支持异步架构稳定运行，AHA-WAM 进一步引入了三项关键机制：观测引导的上下文路由（OVCR），用于根据最新视觉观测动态更新已缓存的视频上下文；视界自适应偏移训练（Horizon-Adaptive Offset Training），用于处理世界规划器和动作执行器之间的相位差；滚动 KV 内存（Rolling K/V Memory），用于保存跨刷新周期的历史信息。这些机制共同解决了异步之后可能出现的上下文过时、对齐偏差和历史信息丢失问题。
得益于架构创新，AHA-WAM 在任务成功率、推理速度上都取得了领先成绩。
内容来源：
AHA-WAM: Asynchronous Horizon-Adaptive World-Action Modeling with Observation-Guided Context Routing
在没有机器人数据预训练的情况下，AHA-WAM 在 RoboTwin 2.0 的 50 个任务上达到 92.80% 平均成功率。在真实环境的 AgileX Piper 双臂平台上，AHA-WAM 经过 RoboCOIN 子集预训练和任务微调后，在叠毛巾、整理桌面、冲泡豆奶、收纳盘子四类任务上取得 78.33% 平均成功率，优于 Fast-WAM 的 68.33% 和 Motus 的 21.67%，接近 π0.5 的 76.67%。
值得注意的是 AHA-WAM 在推理延迟上的进步。这里的推理延迟，指系统在闭环控制中，从获取最新环境反馈到输出下一段动作指令所需的端到端耗时。
内容来源：
AHA-WAM: Asynchronous Horizon-Adaptive World-Action Modeling with Observation-Guided Context Routing
标准版 AHA-WAM 的推理延迟为 41.37ms，对应控制频率为 24.17Hz。经过 ODE 蒸馏后的 AHA-WAM-Flash，推理延迟进一步降至 17.56ms，对应控制频率为 56.95Hz。
此前，Fast-WAM 的工作已经证明，经过架构优化的世界动作模型可以接近 VLA 的推理延迟水平。Fast-WAM 论文显示，其推理延迟约为 190ms。
内容来源：
Fast-WAM: Do World Action Models Need Test-time Future Imagination?
AHA-WAM 将 WAM 的推理延迟从百毫秒级压低到几十毫秒级。这表明，至少在实验室环境下，在保留视频生成模型预测规划能力的前提下，WAM 并不必然比 VLA 更慢，甚至可以实现更低的动作更新延迟。
架构优化之外， AI Infra 工程能力和算力网络的支撑同样重要。AHA-WAM 从训练到部署推理，全程依托百度百舸 AI 计算平台完成。尤其是在推理阶段，百度百舸团队针对动作生成链路进行了系统工程优化，使单步动作推理延迟从 415ms 压缩至约 41ms。这一提速也带来了实打实的收益，响应更快意味着机器人能更及时地根据最新画面修正动作，对折叠毛巾、精细工具操作这类任务的成功率提升尤为明显。
这也是 AHA-WAM 值得进一步关注的原因。
2025 年下半年，InfoQ 在与多家具身智能公司探讨世界模型的应用时，得到的普遍反馈是世界模型可以用于仿真、推理和规划，但很难直接用于控制。原因在于成本太高，推理太慢，难以满足真实机器人对低延迟闭环反馈的要求。
进入 2026 年上半年，随着 LingBot-VA、Fast-WAM 等面向动作控制优化的世界模型陆续出现，这一判断开始松动。尽管世界模型用于真实机器人控制仍处在早期阶段，许多机器人公司已经开始在内部复现前沿研究，以便在路线出现突破时迅速跟上。
对于仍在观望生成式世界模型能否真正用于机器人控制的从业者来说，AHA-WAM 的进展无疑提供了更乐观的信号。
接下来，我们将基于 AHA-WAM 论文以及 InfoQ 对穆尧团队的访谈，拆解它的基本原理。
异步架构，解耦世界规划与动作执行
世界动作模型，起源于对 VLA 路线的质疑：如果机器人只是从当前观测直接映射到动作，它是否真的理解了物理世界？
VLA 模型已成功将大规模视觉语言模型迁移到了机器人领域，但它们多将当前观测直接映射到动作序列，很难捕捉到复杂的物理交互规律。为了实现更通用的操控能力，模型必须具备“想象”未来的能力，例如物体会如何随动作变化、接触关系会如何演化、执行误差会如何影响下一步控制。
相比之下，WAM 的价值在于它实现了动作推断与视觉动力学建模的深度耦合。它让模型在学习策略的同时，也学习环境如何随动作演化，从而将原本稀疏的动作监督转化为稠密的物理常识先验。
今年上半年，LingBot-VA、Fast-WAM 等工作已经将 WAM 推向了更适合动作控制的形态。他们普遍采用用更重的视频分支建模高维视觉动态，用更轻的动作专家建模低维动作分布。这个非对称设计的前提是，动作分布通常比视频分布简单，不一定需要和视频生成同等规模的模型来承担。
AHA-WAM 继承了这一非对称结构。它的视频分支使用大规模预训练视频模型 Wan2.2-5B 初始化，用来引入互联网视频中学到的视觉规律和物理先验；动作分支则采用紧凑的 DiT 架构，以降低动作生成的推理延迟。
但在穆尧团队看来，只区分重视频基座和轻动作专家还不够。现有 WAM 更深层的问题，是视频预测和动作执行在时间上的绑定。
许多 WAM 会把世界预测和动作生成放在同一个短时控制节奏中。结果是，视频分支必须频繁运行，反复建模相邻帧之间细小、连续、但对控制增益有限的变化。模型参数越大，预测能力可能越强，但每一步控制都被视频分支拖慢，最终会影响闭环频率。
如何解决模型参数规模和控制频率之间的矛盾？
“异步拆分这个方案，实际上是我们分析下来认为最直接的技术方案。”穆尧在接受 InfoQ 采访时表示，“action 的生成要求尽可能实时；但未来推演这一块，由于模型体量大，自然会带来比较大的推理代价。它天然就会形成一个快慢系统。慢与快之间会产生异步。我们技术上要解决的核心问题，就是在异步情况下，如何让 video generation 依然很好地指导动作生成。”
因此，AHA-WAM 没有停留在模型容量上的非对称，而是进一步引入时间节奏上的非对称。
具体来说，AHA-WAM 基于双 DiT 架构，将视频分支和动作分支放在两个不同的时间尺度上运行。
视频分支是低频世界规划器，负责长时界的潜空间规划。在论文设置中，它的规划视界为 64 步。它在后台运行一次，生成可复用的规划上下文。
动作分支则是高频动作专家，负责生成短程动作块。在论文设置中，它的动作视界为 16 步。它持续读取后台生成的规划上下文，并结合最新观测和机器人状态输出动作，不需要等待视频分支每次刷新。
这意味着，AHA-WAM 将昂贵的视频生成计算从每一次动作更新的关键路径中移出。视频模型仍然提供物理先验，但不再阻塞高频控制；动作模型仍然保持实时执行，并持续利用视频分支提供的长时世界信息。
但仅有异步机制还不够。视频规划器低频运行，动作专家高频执行，同一组规划上下文会被多个动作块反复调用。随着机器人不断执行动作，真实场景已经发生变化，低频规划器提供的上下文可能滞后；同时，动作块与视频规划窗口之间也会出现相位偏移。
异步的 WAM 还需要一些机制，让动作专家既能复用慢速视频模型产生的长时上下文，又能根据最新观测对这些上下文进行轻量修正。
异步之后，如何让快慢系统保持对齐和鲁棒性？
在穆尧看来，快慢系统拆分之后，设计上的难点集中在一个问题上：如何利用快系统获得的实时观测，对慢系统传来的旧 K/V 缓存进行修正。
“这个修正必须足够轻量，才能在高频控制中持续运行；如果修正本身也变得冗长，异步架构的意义就会被抵消。”穆尧表示。
围绕这个问题，AHA-WAM 设计了三项机制：OVCR 负责用最新观测校准旧上下文；视界自适应偏移训练负责让动作专家适应快慢系统之间的相位差；滚动 K/V 内存负责让低频视频规划器保留历史状态。三者共同支撑了异步架构在高频控制中的稳定运行。
观测引导的上下文路由 (OVCR, Observation-Guided Video-Context Routing)
在异步推理中，视频规划器运行一次后，会生成一组可复用的规划上下文。动作专家会在多个后续动作块中反复读取这组上下文。但随着机器人执行动作，物体位置、接触状态和视觉场景都可能发生变化。如果动作专家直接使用旧上下文，控制就可能基于过时信息。
相比将完整的高维视觉特征直接塞进动作专家，OVCR 的处理方式是：模型用一组可学习的查询，从最新视觉观测中抽取对修正旧上下文有用的信息，再对视频规划器缓存的 K/V 状态做残差更新。经过这一步，原本静态复用的规划上下文，会变成针对当前动作块校准后的上下文，再交给动作专家使用。
这个设计的关键在于，它不需要重新运行沉重的视频 DiT。视频分支仍然被移出每次动作更新的关键路径，但动作专家获得的规划信息，已经根据最新视觉证据做过校准。OVCR 让视频 DiT 保持在每次动作更新的关键路径之外，同时让每个动作块获得与当前视觉证据对齐的规划表征。
视界自适应偏移训练 (Horizon-Adaptive Offset Training)
在同步模型中，视频规划窗口和动作块通常可以固定对齐。但异步部署后，视频规划器低频刷新，动作专家高频执行，同一个规划上下文可能被不同时间点的动作块复用。此时，动作块相对于规划窗口的起点会处在不同位置。如果训练时模型只见过固定对齐关系，部署时面对这些中间相位就会变得脆弱。
AHA-WAM 的做法，是在训练中主动制造这种错位。视频规划器负责较长视界，动作专家负责较短动作块；但训练时，系统会随机移动动作块在视频规划视界中的起点，让动作专家学习在不同相位下读取和使用同一段长时规划上下文。
滚动 K/V 内存 (Rolling K/V Memory)
由于视频 DiT 低频运行，它不能只依赖当前观测来生成规划上下文。长程操控任务中，已经完成的子目标、被移动过的物体、此前出现但当前不在画面中心的状态，都可能影响后续动作。
为此，AHA-WAM 在视频规划器内部维护一个固定大小的先进先出 K/V 记忆库，保存最近几次规划刷新产生的历史视频状态。下一次规划器刷新时，视频 DiT 会读取这些历史 K/V，再生成新的规划上下文。
需要注意的是，这个记忆不是动作专家直接读取的外部记忆。它属于慢速视频规划器内部，用来扩展规划器对过去观测的时间感受野。动作专家真正消费的，仍然是经过 OVCR 校准后的规划上下文。这样，AHA-WAM 同时保留了长程历史和实时反馈：慢系统记住过去，快系统对齐当前。
消融实验也验证了这些机制的必要性。
内容来源：
AHA-WAM: Asynchronous Horizon-Adaptive World-Action Modeling with Observation-Guided Context Routing
AHA-WAM 设置了一个简化版本 Naive-Async，虽然实现了视频分支和动作分支的异步拆分，单去除了 OVCR 和滚动 K/V 内存这两项关键增强技术。
实验显示，Naive-Async 的平均成功率为 88.60%，低于 Fast-WAM 的 91.83%。加入滚动 K/V 内存后，平均成功率提升到 91.01%；加入 OVCR 后进一步提升到 91.47%；完整 AHA-WAM 达到 92.80%。
这说明，异步拆分只是 AHA-WAM 的第一步。真正实现高频控制的，是 OVCR、视界自适应偏移训练和滚动 K/V 内存共同完成的快慢系统对齐。没有这层桥接，更快的动作更新并不会自然带来更好的控制效果。
结语
AHA-WAM 的研究也说明，生成式世界模型进入机器人控制闭环，不只是算法结构问题，也依赖训练、评测、推理和部署环节的系统协同。
在与百度智能云的合作中，上海交通大学穆尧团队主要负责算法原型、基础模型训练、数据定义、模型设计和实验调优；百度智能云团队则更多承担 AI 基础设施层面的支持，包括大规模算力调度、训练与测试资源管理、跨类型显卡的数据共享，以及具身智能模型的训推加速等 AI Infra 工程优化。
穆尧认为，这种分工对应了当前前沿 AI 研究的现实变化。无论是视频生成、大语言模型，还是强化学习，越前沿的模型越依赖底层基础设施。高校团队擅长定义问题、提出算法原型和探索模型路线；云厂商则在大规模训练、算力调度、评测、渲染、推理优化等环节有更长期的工程积累。
以 AHA-WAM 为例，模型训练和测试并不只依赖单一类型的算力资源。百度智能云为团队提供统一资源池，使训练卡和测试卡可以在同一体系下调度，并支持不同类型显卡之间的数据共享。这让模型训练、仿真评测和推理优化能够更紧密地衔接起来。
从实验室原型走向规模化落地后，这种协作会进一步延伸到端云协同。穆尧提到，如果未来模型规模继续扩大，AHA-WAM 的部分模块可能部署在云端，由云端服务器负责更重的视频世界模型推理；边端则保留动作生成能力，负责实时执行。届时，系统不仅要优化模型推理延迟，还要优化 K/V cache、实时观测和动作反馈在端云之间的传输延迟。
这意味着，AHA-WAM 当前提出的异步架构，未来可能进一步走向端云协同：云端负责更大规模的世界规划，边端负责更低延迟的动作执行。要让这套系统真正进入商业化场景，模型结构、推理加速、通信协议、图传链路和边端部署都需要协同优化。
接下来，在物理 AI 领域，穆尧团队与百度智能云还会继续围绕三条方向展开合作：一是以世界模型为牵引，训练更大规模的基础世界模型；二是面向人形机器人的运动基础模型和行为基础模型，通过仿真合成缓解真机数据成本过高的问题；三是面向自我进化，让具身模型在大规模仿真环境中通过探索和强化学习获得能力提升。
这些方向共同指向物理 AI 的核心目标——模型不仅要具备感知、理解和推理能力，也要能够在物理世界中执行、协调复杂动作，并在与环境的交互中持续进化。
