视频模型赛道正分化成两条路:一条通向影院,一条通向机器人。
过去两年,热钱和掌声都涌向第一条路,大家比的是如何让观众觉得更真实:画质要清晰,要有美感,镜头语言要足够丰富。第二条路却完全不同,它比的是世界规律不能错:手指不能穿过物体,液体不能违背重力向上流,杯子被碰倒后不能凭空回到原位。同样的微小错误,在前一条可能只是一个穿帮镜头,但在后一条,就是致命错误,说明机器人从一开始就学错了物理世界的规则。
通向机器人的路显然更难走,却也成了头部团队为视频模型押注的下一个高价值方向。有观点甚至认为,视频模型的终局价值就在“世界模拟”。这也是为什么,蚂蚁灵波这次的产品发布周,能够再次引发行业广泛讨论。
7 月 6 日,蚂蚁灵波以一支短片的形式,宣布全栈 2.0。随后一周,密集发布多款模型,包括全新一代空间感知模型 LingBot-Depth 2.0、视觉基座模型 LingBot-Vision、新一代具身基座模型 LingBot-VLA 2.0。其中,7 月 9 日开源的视频生成基座模型 LingBot-Video,不卷画面像不像电影,只死磕一个问题:一次动作发生后,世界会怎样变化?
模型学的,是建立动作、事件与环境变化之间的因果链,预判真实物理世界如何演化。简单来说就是,教会机器人理解做一件事会带来什么后果。比如,它知道拿起一个玻璃杯,用多大的力度才能抓牢,用多大的力度会捏碎;水龙头开了,它知道杯子放到水流下面就能接水,移开就接不到水。
这些对人类来说不过是肌肉记忆,但在机器人的世界里,都是需要一点点补全稳定操作的重要拼图。
评测结果显示,LingBot-Video 在生成机器人相关视频时,更能保持动作过程的合理性和任务执行的完整性。在北京大学联合字节跳动发布的基准 RBench 上,LingBot-Video 的总分是 0.620,超越了 Wan2.6(0.607)、Seedance 1.5 Pro(0.584)、Cosmos3 Super(0.581)。RBench 作为面向机器人操作视频的综合评测基准,重点考察模型能否生成符合真实物理规律的机器人行为。

为了检验 LingBot-Video 作为物理世界模型的能力,蚂蚁灵波技术团队从两个维度进行评测:一般质量衡量基础生成能力,具身领域考察与具身 AI、真实世界交互相关的高难度场景。内部评估结果显示,图生视频(TI2V)设定下,LingBot-Video 在这两个维度上,超过包括英伟达 Cosmos 3、Wan 2.2 A14B 在内的五个主流开源视频模型,拿下 SOTA;文生视频(T2V)设定下,LingBot-Video 在一般质量中排名第二,但具身领域评分仍优于 Cosmos 等竞争模型。

这组结果说明,在机械臂操作、避障等需要精确物理轨迹的场景中,LingBot-Video 更擅长把动作、物体状态与环境变化连成一条因果链。哪怕没有初始画面,它也能显示出一定的世界状态推演能力。
这些恰恰是机器人能把日常小事稳定做对,最缺的一层能力。
项目链接:technology.robbyant.com/lingbot-video
GitHub:github.com/robbyant/lingbot-video
Checkpoints:huggingface.co/robbyant/lingbot-video
魔搭社区链接:https://www.modelscope.cn/collections/Robbyant/LingBot-Video
从“炫技”到“有用”,机器人为什么需要具身视频基础模型?
过去两年,机器人频频刷屏。
上春晚表演,跑马拉松,去山路探险,走进景区与游客互动。机器人在真实世界里一次又一次地惊艳亮相,但围绕它们的疑问始终没有消失:除了制造惊叹,机器人什么时候才能真正“有用”?
让机器人进入家庭、门店、仓库和工厂的,不是再完成一个更高难度的舞蹈动作,是把人类习以为常的小事做对。比如,水流突然出现时,它知道什么时候拿杯子去接水;桌面杂乱时,它能判断什么该收拾,以及该放到哪里。
这些任务看起来平淡,却比跳舞更接近通用机器人真正的难题。因为机器人面对的,是一个持续变化、充满不确定性的真实环境。它需要先理解眼前发生了什么,接着还要预测自己做出一个动作后,可能会发生什么,最后执行正确的行动。
视频模型被具身智能视为关键突破口,是因为它能用连续画面建模世界状态变化,把“看到什么”“做了什么”“结果如何”连接成一条因果链。
从全球头部团队近两年的技术路线看,面向具身智能的视频模型,至少需要补齐三层能力:理解当前世界状态,预测动作可能带来的后果,并在此基础上为机器人的策略生成、行动评估与规划提供依据。最终形成从理解、预测到决策的完整闭环。
英伟达曾在 Cosmos 3 中提出,Physical AI 系统需要先理解当前世界发生什么,再预测接下来可能发生什么,最后针对具体环境、机体形态和任务生成动作。Cosmos 3 明确将物理推理、未来世界生成和动作生成统一为一套能力。谷歌 DeepMind 的技术路线,也从侧面印证了这一能力链:Genie 3 将世界模型定义为利用对世界的理解来模拟环境,使智能体能够预测环境如何演化、以及自身行动会造成什么影响。
在这条完整的链路中,任何一个环节的微小偏差,都可能被后续动作不断放大。更危险的是,这类偏差很可能在视觉上对人类造成欺骗:视频依旧流畅、连贯,看似合理,但其中的空间关系、接触过程和状态变化,早已偏离真实世界。
2026 年 CVPR Workshop 的 RoboWM-Bench,就曾揭示过“视觉合理≠物理正确”这一关键矛盾,并指出主流模型在复杂、长程交互中,容易暴露空间推理错误、接触关系预测不稳定、物体出现不符合物理规律的几何变形等问题。RBench 在 2026 年对 25 个代表性视频模型进行了具身场景评测后也发现,许多模型在视觉效果上已经颇具说服力,但在结构一致性、物理合理性和动作完整性上仍有明显缺陷。研究者据此提出,面向机器人的视频模型,不能只评估“生成得像不像”,还必须评估“任务是否成立、动作是否能执行”。
这也是为什么,通向影院的通用视频模型,很难直接成为机器人可信赖的世界模型。对机器人来说,真正需要的,不是视频看起来有多像电影,是能理解物理世界如何变化,动作符合物理法则。某种意义上,一段物理正确的 480p 预测,比一段杯子穿过桌面的 4K 大片,更有价值。
LingBot-Video 想解决的,正是这个问题。它将物理正确性置于美学优化之上,关注的是“动作如何改变世界”,让模型学习动作、事件和环境变化,预测真实物理世界如何演化,最终服务于机器人的世界预测、动作理解和自主训练。
从实际的视频生成效果来看,LingBot-Video 确实把一些容易被忽略的物理细节,处理得很好。
比如在这段视频中,勺子在杯中搅拌咖啡时,咖啡会沿着搅拌方向流动,形成自然的漩涡,奶泡也随之变化。
手掌张开后,沙子会自然地沿着指缝向下洒落,落下的沙子逐渐堆积成小丘,并且随着持续下落的沙土慢慢扩大。
把水倒进透明杯子中,也能清晰看到液面、气泡和折射光影的变化。
在一段机器人收纳口红的第一视角视频中,机械臂从桌面上拿起口红,再放回收纳盒。口红落入盒中的瞬间,甚至还能看到由下落和触碰盒体带来的轻微抖动,极其真实。
这段机器人滑雪的视频更是难辨真假,雪板经过的地方带起细碎的雪花,雪花自然飞溅,短暂飘在空中,最后落回雪道。
在 LingBot-Video 官网,还有更多真实 Demo。从骑自行车、滑板、跑步,到拳击、踢足球、投篮,再到切菜、擦桌子等日常操作,覆盖了人体运动、人与物交互、工具使用等多类场景。
这些视频之所以对具身智能重要,是因为它们把动作之后的结果准确地呈现了出来。物体会因接触产生反馈、沙土离手会自由落体、液体会按照重力和容器边界流动、光影会随着液体增加发生变化……对机器人来说,这些细节才是理解世界、预测世界并最终改变世界的基础,这也是 LingBot-Video 选择死磕物理法则的原因。
为下一代“机器人大脑”构建物理引擎
教会模型物理法则的第一步,需要回答一个更前置的问题:为什么通用视频模型当不了机器人的世界模型?
LingBot-Video 团队将其归结为三重错配:
第一重是架构错配。通用视频模型大多基于扩散模型,擅长从噪声中一步步还原出连续画面。传统稠密架构下,每一次去噪,模型都要调动整套参数,计算成本高、可扩展性差,推理效率也很低。对需要实时响应的机器人来说,稠密架构难以满足硬件延迟要求。
第二重是数据错配。通用视频模型的训练数据主要来自互联网,场景覆盖日常视频、影视素材、互联网内容,模型学习目标是生成自然、好看的视频。但这些数据缺失了机器人真正需要的一手经验,它不知道手碰到杯子之后会发生什么,很难理解物理世界如何变化。
第三重是训练目标错配。通用视频模型的训练目标更多还是围绕画面是否逼真、是否有美感,以及文本和视频之间是否对齐。这些目标对准的是内容创作场景,但对具身智能场景来说,视觉合理≠物理正确,模型需要学会真实世界中动作、事件与环境变化之间的因果关系。
三重错配指向的,是通用视频模型和面向具身智能视频模型之间的鸿沟:现有通用视频模型难以同时获得可扩展性、物理一致性与具身扎根。LingBot-Video 的解法,就是以三个一体化组件回应这些限制:
采用 MoE 架构,在模型表征能力与推理效率之间实现更优平衡,并完成从零开始的大模型规模扩容;
搭建一套数据特征分析引擎,在通用互联网视频基础上,引入了超 70000 小时具身多模态数据,覆盖 VLA、VLN、Ego-vision 等具身场景;
设计多维奖励机制,通过引入物理合理性与任务完成度的双重约束,对模型进行了针对性的强化对齐训练。
化繁为简,以 MoE 架构破解稠密计算难题
对视频模型来说,物理世界的复杂性在于不同维度的信息必须同时成立。从空间布局到相机运动,从物体轨迹到状态延续,通通都要满足物理法则。视频生成要想模拟连续物理世界,需要同时表征复杂物理过程的视觉现象,比如流体运动、三维空间一致性、不同运动轨迹和丰富材料纹理,等等。
主流的通用视频模型普遍采用稠密架构,无论当前 token 处理的是什么,所有参数都会走同一条计算路径。随着模型和视频长度扩大,这种方式容易导致严重的子任务干扰,计算成本也更高。
MoE 架构的解题思路是稀疏激活,不让所有参数同时参与计算,通过路由机制为不同 token 选择少量专家激活,提升模型容量的同时,控制推理成本。近几年,MoE 架构已经在大语言模型中得到反复验证,它可以在近似固定的每 token 计算预算下,显著扩大模型总参数容量。与稠密架构相比,MoE 架构更契合具身智能领域对低成本、高频率迭代的需求。
LingBot-Video 采用的就是 MoE 架构,总参数 30B,单次生成仅激活约 3B 参数参与计算。就像模型拥有一个大型专家团队,面对具体问题,只需派出部分最相关的专家出场就能解决。既保留了大模型的容量,也降低了实际运行时的计算压力。
架构带来的效率优势也引发海外网友广泛讨论。网友 Eclipse 评价称,“30B 总参数、3B 激活参数,对于视频模型来说是一个相当不错的效率比。”网友 AI Mastery Guide 也表示,“在 30B 参数中只激活 3B,是让模型能够在真实硬件上运行的聪明取舍。”
为了让这些专家团队高效协作,LingBot-Video 在 MoE 上又做了几层约束。
第一层是细粒度专家切分与共享专家隔离。把专家切得更细,每个专家只需深耕一个窄域;同时保留共享专家,沉淀跨领域的通用经验。
第二层是分组受限路由。MoE 的难点之一,是专家可能分布在不同设备上,路由过于自由会带来大量跨设备通信。LingBot-Video 先从专家组中筛选候选范围,再从范围内选出少量专家,尽量把计算成本控制在可扩展的区间,降低分布式训练中的通信成本。
第三层是在线偏置校正。 训练过程中动态调整每个专家的选择门槛,在保证表征能力的同时维持专家负载均衡,避免出现“忙的忙死、闲的闲死”。
第四层是序列级辅助损失。 传统的负载均衡往往只看整个 batch 的平均情况,但由于单个视频序列包含极其庞大的 token 量,平均值可能掩盖单条视频内部的路由不平衡,因此序列级的约束至关重要。LingBot-Video 把平衡约束下沉到单个视频序列,避免某段视频在内部形成新的专家拥塞。
这些设计最终转化为实打实的效率优势。实验数据显示,在活跃计算预算相近的情况下,总参数 13B、活跃参数 1.4B 的 MoE 模型,在整个训练过程中持续优于活跃参数约 1.3B 的稠密模型;在相同计算约束下,MoE 模型的总参数容量约为稠密模型的 10 倍,能提供更大的物理世界先验库。

进一步对比发现,MoE 13B-A1.4B 和 MoE 30B-A3B 的性能,始终优于活跃参数规模约为其两倍的稠密模型,MoE 30B-A3B 的表现甚至已经接近 14B 的稠密模型。在序列长度达到百万 token 的极端条件下,MoE 30B-A3B 的推理速度是同等性能稠密模型的 1.5 到 3 倍以上,与活跃参数等量的 Dense 3B 相比,延迟基本持平。这说明,LingBot-Video 采用的 MoE 架构,能在扩大模型容量的同时,提高推理效率,满足具身智能产业级部署和高频迭代的要求。

MoE 与稠密模型的推理效率对比
超 7 万小时具身数据,为机器人补上行动经验
架构解决的,是在模型效果、推理效率以及计算成本之间实现更优平衡,为具身智能的低成本、高频率迭代提供底层基础。数据解决的,是为模型注入行动经验,让它更好地理解物理世界如何变化。
如前文所说,通用视频模型的训练数据主要来自互联网视频。这些数据规模巨大,覆盖了海量的场景、物体,足以让模型学会生成逼真的画面。但它们天生缺少机器人真正需要的东西。
具身智能长期面对的数据困境,是真正有用的数据太少,世界上不存在数十亿小时的“机器人动作数据”。目前,行业主要通过两条路径来补足这部分数据:一条是采集真实机器人数据,通过遥操作让机器人在现实环境中执行任务并记录动作序列,成本极高、速度极慢。行业最大规模之一的开放数据集 Open X-Embodiment,聚合了几十家机构的数据,量级仍远不及互联网文本或视频数据的零头。另一条是仿真数据,在虚拟环境中大规模生成训练数据。但这里存在 sim-to-real gap——仿真难以复现真实物理环境的复杂性、接触的微妙变化和传感器噪声,仿真器里学会的技能,放到真实世界中经常失效。
LingBot-Video 走的,是第三条路:在互联网数据的基础上,引入超过 70000 小时的具身多模态数据。这些数据覆盖三大类具身场景,能让模型学习真实交互中的动作、空间和物理变化。
第一类是 VLA 数据,关注视觉、语言与动作的对应关系,能让模型理解“拿起杯子”语义背后的动作如何执行、状态如何变化;第二类是 VLN 数据,关注智能体根据语言指令在空间中导航的能力,让机器人能知道向前一步、向后一步,可能会把自己带到什么位置;第三类是 Ego-vision 第一视角数据,这是最接近机器人实际感知世界的方式。
集齐三类具身数据并不容易,更难的是,还要把它们放进同一套世界表征里,让这些来源不同的内容,都变成一种语言。
LingBot-Video 的数据画像引擎,承担的就是这项工作。它为每个图片或视频建立统一的五维档案,覆盖结构、语义、运动、相机和质量属性:结构元数据记录空间分辨率、原生帧率、时长等基础媒体属性;语义标签记录前景和背景物体、环境、世界知识实体、风格、动作与文字;运动与时间动态拆分相机运动、主体运动和追踪运动;相机与电影化属性记录景别、视角、构图、镜头类型和光线;质量属性评估美学、清晰度、曝光、水印、字幕、噪声,以及样本是否可能是 AI 合成内容。最终,把这些数据变成同一套可查询、可筛选、可重采样的结构化记录。

数据画像引擎概览。每个图像 / 视频样本会在结构、语义、运动、相机、质量五个互补维度上标注为结构化记录,供后续过滤、平衡采样与描述生成使用。
有了结构化记录,下一步,是把它变成模型可以学习的文本。
LingBot-Video 采用密集结构化描述,为所有训练数据标注密集的结构化 JSON 描述,覆盖图像、视频、VLA 视频和第一人称视频四类数据:
图像描述包含整图综合描述、相机标签、世界知识和元素清单。每个元素记录位置、相对大小、形状颜色、纹理、与其他元素的关系和朝向;如果元素是人,还需要描述姿态、性别、肤色、表情和服装;如果元素是重复物体群,则标记为 cluster 并给出粗略数量。
视频描述在图像 schema 上加入时间信息,精确标注每个元素在何时做了什么动作,让模型知道视频中谁在何时做了什么动作。比如,手在 [2.67s,3.67s] 进入画面放置食物。
VLA 描述沿用视频 schema,将机械臂与夹爪视为显著元素,让模型能按时间戳将动作拆解为清晰阶段,比如下移抓取、张开夹爪释放、回撤,等等。
第一人称描述同样使用视频 schema,相机运动字段专门描述头部和身体的位移,并将佩戴者双手作为显著元素,以时间戳动作描述其与物体的交互。
这种颗粒度的数据描述,最终让模型学到精确的因果链条,知道谁在什么时刻,以什么动作,让哪个物体从状态 A 变成了状态 B。
在数据治理层面,LingBot-Video 进一步引入了世界知识拓扑图。有了这张图,数据系统能更好地识别哪些经验过度集中,哪些经验长期缺失。

世界知识拓扑图
团队在技术报告中提到,这张世界知识拓扑图具备“分布感知”能力,它沿语义概念树和动作树两条轴组织样本,语义概念树负责回答“视频里有什么”,覆盖物体、场景、视觉风格及世界知识实体等;动作树负责回答“视频里发生了什么”,覆盖物体操作、运动、日常活动和人类手势等。
其中,语义树包含 5 万个细粒度叶节点、1000 个中间视觉类别,最终被归并为 25 个视觉一致的顶层组。动作树从画像引擎产生的动作标签构建,最终得到数百个覆盖操作、人类手势、体育和日常活动的规范动作节点。
设计多维奖励机制,提升模型物理直觉
当模型在性能与推理效率、计算成本之间实现更优平衡,也具备足够丰富的具身多模态数据,下一步,就是为它设定面向具身智能场景的训练目标,帮它理解物理世界的运行规则。
通用视频模型的主流训练目标,通常围绕画面本身,奖励信号主要来自美学、清晰度和提示词匹配等。这种训练方式对具身智能场景并不适配,从“看起来真实”到“物理上真实、任务上完整”,中间横着的,是一条条物理法则。
这也是为什么,LingBot-Video 在后训练阶段,选择采用基于多维奖励的强化学习策略。团队认为,视频生成具有天然多维性,也容易出现静态模式坍塌、时间幻觉和物理不合理等复杂失败。如果只采用单一标量的整体奖励模型,难以提供多维度审视。
因此,团队将评价体系拆解为六个专用奖励模型,分别把守不同的质量关口:
视觉质量捕捉整体视觉保真与稳健的描述对齐,复合奖励会惩罚模糊、伪影和低分辨率输出;
文—视频对齐确保描述中的每一个动作都在正确的时间窗口出现;
动态程度在不牺牲时间一致性的情况下,打破静态模式坍塌;
运动连贯性引导模型生成在标准 24fps 播放下,仍显得自然的物理速度,并惩罚人为慢动作;
人体运动一致性针对不可能拓扑、面部失真、手部畸形、肢体数量错误和半透明身体,提供逐步推理以评估空间正确性与时间保真;
物理合理性判断生成视频轨迹是否发生在连贯物理场景中,任务相关实体是否持续存在、具备空间锚定,并与预期任务演化一致。
其中最关键的,是物理合理性奖励模型。它不是笼统地判断视频是否合理,而是沿着三条轴线逐一审查:第一条是运动因果性,如果没有外力影响,物体就应当保持静止或持续原有运动;第二条是物体永久性与非穿透,边界不会消失,物体不会相互穿透,两个物体不能发生不合理的重叠;第三条是材料—运动学真实感,物体和带关节的机器人部件,必须符合合理的材料属性与刚体运动规律。
这三条轴线,共同构成了一张物理约束网,让模型不能靠视觉欺骗蒙混过关,必须学习真实的物理因果。
为了让这六类奖励真正反馈到模型训练中,LingBot-Video 采用 GRPO 算法,最大化多维奖励。视频扩散强化学习的难点在于,一段视频要经历多步去噪。如果最终出现了物体穿透或动作失真,很难判断究竟是哪一步导致的。LingBot-Video 的做法是,在同一组 rollout 中,只让一个共享的去噪步骤随机采样,其他步骤保持确定性。这样,不同候选视频之间的差异可以更明确地归因到那一个随机步骤,奖励也能更准确地回传到产生差异的位置。
此外,六种奖励不会直接相加,会先分别归一化,再按权重融合,避免某一种数值范围更大、优化更容易的奖励长期主导训练,压过物理合理性、动作可执行性等更关键但更稀疏的具身信号。
通过针对性的强化对齐训练,LingBot-Video 突破了传统视频模型主要围绕画面美观度、提示词遵循度和动作连贯性进行优化的局限,将物理合理性、动作可执行性和交互结果纳入模型训练目标,提升模型对真实世界演化的建模能力。
开源 LingBot-Video,机器人社区多了一个“世界模拟器”
架构、数据,以及训练方式上的三重优化,让 LingBot-Video 能在建模容量与推理效率间实现平衡,蚂蚁灵波将其定位为下一代“机器人大脑”的基础,希望 LingBot-Video 作为具身视频模拟器,能在机器人社区承担三类角色:
数据引擎:大规模合成高保真、低成本训练数据,缓解机器人数据稀缺;
策略评估器:作为视觉模拟器,在不引入真实世界风险的情况下,以安全可控的方式评估机器人策略;
动作规划器:预测“接下来会发生什么”,辅助机器人实时决策和规划。
三类角色串在一起,把视频模型从内容生产工具,变成了物理推理与交互的试验场。更重要的是,蚂蚁灵波选择将这套能力完全开源。
据悉,LingBot-Video 是业界首款面向具身智能的大规模 MoE 视频基础模型,开创性地打通了数字内容生成与实体机器人执行控制两大领域,并已完全开源,供整个研究社区使用,降低具身视频模型的研究门槛。
过去很长一段时间,具身视频模型的研究受制于算力、数据和工程壁垒。一个可复现、可评测、可迭代的开放基座,能让更多研究者和开发者在前沿技术框架上验证自己的想法,不必重复造轮子。团队希望通过开源 LingBot-Video,与社区共同推进具身物理引擎和下一代机器人脑的边界。
这也延续了蚂蚁灵波一贯的开源路径。本周,团队接连开源了视觉基座模型 LingBot-Vision,以及新一代具身基座模型 LingBot-VLA 2.0。前者采用了几何建模方式,也是业内首个把“边界结构”作为预训练目标的视觉基础模型,实现了空间感知训练范式的突破;后者作为今年 1 月开源的 LingBot-VLA 1.0 的全面升级,在构型泛化、自由度支持和落地效率等方面实现了显著提升。
从视觉理解到操作执行,再到今天的物理世界模拟,蚂蚁灵波一直在具身智能的不同环节持续补齐基础能力,并把多个重要拼图交给社区,变成更多人可以接入和改造的公共底座。
不过,蚂蚁灵波团队也坦诚地表示,LingBot-Video 当前还存在一定局限性,仍面临长时序一致性难以保持,柔性物体和液体等复杂物理交互不够精确,视频预测能力向真实机器人闭环的转化未完全打通,以及具身视频模型评测标准还在建设中。这些未竟之题,也是蚂蚁灵波选择开源、与社区共建的原因。





