“将语言投射回思想模型时，我们忽视了支撑我们智能的不言而喻的具身认知。” ——Terry Winograd

最近生成式人工智能模型的成功让一些人相信人工通用智能（AGI）即将到来。虽然这些模型似乎捕捉到了人类智能的本质，但它们甚至违背了我们对智能最基本的直觉。它们之所以出现，并非因为它们是解决智能问题的深思熟虑的解决方案，而是因为它们在我们已有的硬件上有效地扩展了规模。一些人沉浸在规模扩展的成果中，开始相信这提供了通往 AGI 的明确路径。最具象征意义的案例是多模态方法，这种方法使用庞大的模块化网络针对一系列模态进行优化，这些模态结合起来，看上去就实现了通用智能。然而，我认为这种策略在短期内注定会失败；它不会通向能够执行感观运动推理、运动规划和社会协调等任务的，拥有人类水平的 AGI。与其试图将很多模态粘合在一起形成一个拼凑的 AGI，我们应该追求将具身性和与环境的互动放在第一位的智能方法，并将以模态为中心的处理过程视为涌现现象。

前言：脱离实体的人工通用智能定义强调的是通用性，但排除了我们期望 AGI 能够解决的那些关键问题空间。真正的 AGI 必须在所有领域都是通用的。任何完整的定义至少必须包括解决那些起源于物理现实的问题的能力，例如修理汽车、解开绳结、准备食物等。正如我将在下一节讨论的，解决这些问题所需的是一种基于和物理世界类似的模型的智能形式。关于这方面的更多讨论，请期待《设计智能》。由 George Konidaris 编辑，麻省理工学院出版社即将出版。

为什么我们需要世界，以及大型语言模型如何假装理解它

TLDR：我首先论证真正的 AGI 需要对世界有物理层面的理解，因为许多问题不能转化为符号操作问题。一些人认为，大型语言模型（LLM）通过预测下一个 token 的方法来学习世界模型，但更有可能的是，LLM 学习的是预测 token 的启发式集合。这使它们对现实的理解停留在表面，并助长了人们对它们智能水平的错误印象。

预测下一个 token 这一目标的最令人震惊的结果是，它产生的 AI 模型映射出了和人类非常类似的对世界的理解，尽管它们从未像我们一样观察过世界。这一结果让人们对“理解语言”甚至“理解世界”的定义出现了争议——我们长期以来一直认为后者是理解语言的先决条件。解释 LLM 能力的一个来源是一种新兴理论，该理论认为它们通过预测下一个 token 的方法来引出世界模型。支持这一理论的人引用了 SOTA LLM 在各种基准测试上的能力、大型模型收敛到类似的内部表示的情况，以及他们最喜欢的“语言反映现实结构”的观念，这一观念至少被柏拉图、维特根斯坦、福柯和埃科支持。虽然我通常支持大家挖掘深奥文本以获得研究灵感，但我担心这个隐喻被过于字面化了。LLM 真的学习了语言中隐含的世界模型吗？否则它们怎么会如此精通语言？

支持 LLM 世界建模假设的一个证据来源是奥赛罗论文，其中研究人员能够基于合法移动序列训练的 Transformer 模型的隐藏状态来预测奥赛罗游戏的棋盘。然而，将这些结果推广到自然语言模型会存在许多问题。首先，虽然奥赛罗的移动可被证明用于推断奥赛罗棋盘的完整状态，但我们没有理由相信有办法通过语言描述推断出物理世界的完整画面。将奥赛罗游戏与物理世界的许多任务区分开来的是，奥赛罗本质上位于符号领域，只是使用物理标记来实现，以便于人类玩耍。一个完整的奥赛罗游戏可以用纸和笔进行，但人们不能用纸和笔扫地、洗碗或开车。要解决这些任务，你需要超越人类用语言描述的物理世界概念。这种描述世界的概念是否编码进了正式的世界模型中，或者例如编码进了一个价值函数，还有待讨论，但很明显，物理世界中有许多问题不能完全由符号系统表示并用纯粹的符号操作解决。

Melanie Mitchell 最近的一篇文章中提到的另一个问题（得到本文的支持）是有证据表明，生成模型可以在序列预测任务上取得惊人的成绩，但没法学会创造这些序列数据的世界模式（例如通过学习全面的特有启发式集合来理解世界）。例如，在一篇博客文章中指出，OthelloGPT 学习了不适用于所有可能的奥赛罗游戏的序列预测规则，比如“如果 B4 的标记在输入字符串中没有在 A4 之前出现，那么 B4 是空的。”虽然有人可以说世界模型具体使用何种方式来预测世界的下一个状态并不重要，但当这种预测反映了模型对训练数据的理解比模型对产生这些数据的底层世界的理解更好时，我就要小心了。不幸的是，这是预测下一个 token 这一目标的核心缺陷，它只寻求保留与预测下一个 token 相关的信息。如果可以用比世界模型更容易学习的东西来完成这一目标，它很可能会这样做。

有人声称在没有任何限制的情况下，预测早期符号对后期符号的影响需要像人类通过感知来理解世界那样来对世界建模，但这是对“世界模型”这一概念的滥用。除非我们对“世界”的定义有分歧，否则我们应该清楚，一个真正的世界模型可以在给定一系列状态的历史时用来预测物理世界的下一个状态。类似的，能够预测物理世界高保真观察结果的世界模型，被用于人工智能的许多子领域，包括基于模型的强化学习、机器人的任务和运动规划、因果世界建模，以及计算机视觉领域，以解决在物理现实中具体化的问题。当大型语言模型（LLMs）询问你的人物、地点或事物是否比面包箱大时，它们并没有在其潜在的下一个 token 计算中运行某种物理模拟过程。实际上，我推测 LLMs 的行为并不是来自它们学习到的世界模型，而是来自对符号行为的难以理解的抽象规则的蛮力记忆，这种规则就是语法模型。

快速入门：

• 语法是语言学的一个子领域，研究不同语法类别的词汇（例如词性）如何组合成句子，这些句子可以解析成语法树。语法研究句子的结构和组成它们的词性的基本部分。

• 语义学是另一个子领域，关注句子的字面意义，例如，将“我感到寒冷”编译成你正在经历寒冷的概念。语义学将语言简化为字面意义，这是关于世界或人类经验的信息。

• 语用学研究物理和会话上下文对言语互动的影响，比如当有人知道你告诉他们“我感到寒冷”时应该关闭半开的窗户。语用学涉及在推理环境和他人意图以及隐含知识的同时解释语言。

不必过分深入技术细节，有直观的证据表明，人类有些独立的认知系统负责这些语言能力。人类能够生成语法上正确但没有语义意义的句子，例如乔姆斯基著名的句子“无色的绿色想法狂暴地睡眠”，或者语义上正确但语用层面上没有意义的句子，例如当被问到“你能递给我盐吗？”时，仅仅回答“是的，我可以”。关键在于，正是这些不同的认知能力融合在一起，形成了人类的语言理解体系。例如，“冰箱在苹果里”这句话在语法上没有错误，作为“冰箱”和“苹果”的语法解释会将它们归类为名词短语，可以用来产生一个句子，其产生规则为 S → (NP “is in” NP)。然而，人类会意识到这个句子的语义是失败的，尝试将其意义与我们对现实的理解协调后这就很明显了：我们知道冰箱比苹果大，不可能被装进苹果里。

但是，如果你从未感知过现实世界，却仍然试图弄清楚这个句子是否是病句，那该怎么办？一个解决方案可能是在语法层面嵌入语义信息，例如，通过发明新的语法类别，NPthe fridge 和 NPthe apple，以及一个单一的新产生规则，防止语义误用：S → (NPthe apple “is in” NPthe fridge)。虽然这种策略不再需要关于冰箱和苹果的基于世界的常识，例如，它将需要为每个语义上正确的构造制定特殊的语法规则……这实际上是可能的，只要有一个庞大的自然语言语料库即可。关键在于，这与理解语义学不是同一回事，在我看来，语义学本质上是理解“世界的本质”。

意识到 LLMs 将语义和语用问题简化为语法问题，将对我们如何看待它们的智能产生深远的影响。人们通常将语言能力视为通用智能的一种代理指标，例如，将语用和语义理解与支撑它们的人类认知能力密切联系起来。例如，一个看起来博学多才、在社交互动中优雅自如的人，很可能在持续注意力和心理理论等特质上得分很高，这些特质更接近于原始认知能力的衡量标准。总的来说，这些代理指标用来评估一个人的通用智能水平是合理的，但不能拿来评估 LLM，因为 LLMs 明显的语言技能可能来自完全不同的认知机制。

重新审视苦涩的教训

TLDR：萨顿的苦涩教训有时被解释为对人工智能结构的任何假设都是错误的。这种理解没什么实际价值，也是一种误解；只有当人类深入思考智能的结构时，才会出现重大进步。尽管如此，规模至上主义者已经暗示，多模态模型可以是一个对 AGI 的结构不可知的框架。讽刺的是，今天的多模态模型隐含地假设了个体模态的结构以及它们应该如何被缝合在一起，这恰恰与萨顿的苦涩教训相矛盾。为了构建 AGI，我们必须要么深入思考如何统一现有的模态，要么完全放弃它们，转而支持一个互动的和具身的认知过程。

导致大型语言模型（LLMs）成功的范式主要因素是规模，而不是效率。我们有效地训练了一万亿只蚂蚁一亿年，试图让它们模仿一级方程式赛车的形式和功能；最终它到达了目的地，但这个过程的效率真是低得惊人。这个类比很好地捕捉了结构主义者和规模最大化主义者之间的辩论重点，前者希望在人工智能系统中构建“轮子”和“轴”等东西，而后者希望有更多的蚂蚁、时间和 F1 赛车来训练。尽管在语言学中进行了几十年的结构主义研究，但近年来，规模最大化主义的非结构化方法已经造出了更好的蚂蚁赛车。最近 Rich Sutton（他与 Andy Barto 因他们在强化学习中的工作而获得图灵奖）在文章《苦涩的教训》中阐明了这一点。

我们应该只构建能够发现并捕捉这种任意程度的复杂性的元方法……这些方法的核心在于它们能够找到良好的近似值，但应该由我们的方法，而不是我们自己来寻找这些近似值。我们希望人工智能代理能够像我们一样探索，而不是只纳入我们已经发现的内容。

——Rich Sutton

Sutton 的论点是，充分利用计算资源的方法将超越浪费计算资源的方法，任何通过归纳偏差来构建出来的问题解决结构都会妨碍人工智能学习更好的解决方案。这是一个有说服力的论点，我认为有些人严重误解了它，他们认为对结构做出任何假设都是错误的。事实上，人类的直觉才是许多在 SOTA 神经网络架构发展中的重要进步的关键所在。例如，卷积神经网络对图像中模式识别的平移不变性做出了假设，并引出了现代计算机视觉深度学习领域研究；Transformers 的注意力机制对句子中符号之间的长距离关系做出了假设，使得 ChatGPT 成为可能，几乎让所有人都放弃了他们的 RNNs；3D 高斯溅射对物理对象的实体性做出了假设，使其比 NeRFs 表现得更好。这些方法论假设可能不适用于所有可能的场景、图像或 token 流，但它们适用于那些由人类策划并对其形成结构直觉的特定场景。别忘了，人类与这些数据集源头的环境是共同进化的。

真正的问题是，我们如何在开发人工通用智能（AGI）时听从 Sutton 的苦涩教训。规模最大化方法对 LLMs 和 LVMs（大型视觉模型）是有效的，因为我们有自然的文字和图像数据沉积，但将规模最大化方法应用于 AGI 将需要我们根本没有积累过的具身数据形式。解决这一数据稀缺问题的方案之一是将生成建模范式扩展到多模态建模——包括语言、视觉和行动——希望可以通过拼合狭窄模态的通用模型来构建通用智能。

这种方法存在多个问题。首先，在多模态设置中，模态之间存在深刻的联系，这些联系在多模态设置中被人为切断，使得概念综合问题变得更难解决。在实践中，将模态联合起来通常需要为每种模态预训练专用的神经模块，并将它们组合成一个联合嵌入空间。在早期，这是通过推动（语言、视觉、行动）元组的嵌入收敛到相似的含义潜向量来实现的，这是对模态之间可能存在的关系类型的极大简化。可以想象，比如说在不同抽象层次上描述图像，或者用不同的物理动作集实现相同的语言指令。这种一对多的关系表明，简单地对比嵌入的目标并不合适。

虽然现代方法不再对模态应该如何联合做出如此严格的假设，但它们仍然普遍将所有模态的感知（例如文本、图像）编码到同一个潜空间中。直观上，这些潜空间似乎可以作为跨模态的共同概念基础，类似于人类概念的空间。然而，这些潜空间并没有清晰地捕捉到与概念相关的所有信息，而是依赖于模态特定的解码器来充实重要细节。感知的“意义”不在于它被编码成的向量，而在于相关解码器为了产生有意义的输出而处理这个向量的方式。只要各种编码器和解码器受到针对具体模态的训练目标的影响，“意义”将在模态之间分散且可能不一致，尤其是会受到预训练结果的影响。这不是形成连贯概念的良方。

此外，目前尚不清楚当今的模态是否适合对具身代理的观察和行动空间进行适当的划分。例如，将图像和文本作为独立的观察流来表示，或者将文本生成和运动规划作为独立的行动能力，并不是显而易见的。人类的阅读、视觉、说话和移动能力最终是由重叠的认知结构所引导的。对模态的处理方式做出结构性假设可能会阻碍模型发现更基本的认知，这种基础认知负责处理所有模态的数据。一个解决方案是将人为划分的模态合并为统一的数据表示。这将鼓励网络学习能够跨模态泛化的智能过程。直观地说，一个能够像人类一样理解视觉世界的模型——包括从人类书写文本到交通标志再到视觉艺术的一切——不应该在图像和文本之间做出严重的架构区分。视觉语言模型（VLMs）不能计算一个单词中字母的数量的部分原因，是因为它们看不到自己正在写什么。

最后，从规模中学习的方法训练模型复制人类的概念结构，而不是学习独立形成新概念的通用能力。人类花费了数十万年的时间提炼概念，并通过文化和语言将它们以模仿的形式传递下来。当今的模型仅在这一过程的最终结果上进行训练：即进入语料库的现代概念结构。在优化我们智能的最终产品时，我们忽略了这些产品是如何被发明和发现的问题。人类有一种独特的能力，可以从少数例子中形成持久的概念，给它们命名，类比推理等。虽然当今模型的上下文能力可能令人印象深刻，但随着任务变得更加复杂，更远离训练数据，这些能力的局限就变得越来越大。从经验中形成新概念的灵活性是通用智能的基础属性，我们应该仔细考虑它是如何产生的。

虽然结构不可知的规模最大化主义成功地产生了通过图灵测试的大型语言模型（LLMs）和大型视觉模型（LVMs），但多模态规模最大化主义方法对通用人工智能（AGI）将不会带来类似的成果。我们应该设计一个可以自然涌现对各种模态的处理方法的设置，而不是在各个模态中预设结构。例如，我最近关于视觉理论心智的论文看到抽象符号自然地从图像分类代理之间的通信中出现，模糊了文本和图像处理之间的界限。最终，我们应该希望尽可能多地将智能的特征重新整合在同一把伞下。然而，大规模和微调的狭义智能模型解决了很多商业用例，但这种方法是否具有真正的商业可行性还不清楚。

结论

规模最大化主义的整体承诺是，可以通过使用狭义领域的通用模型将弗兰肯斯坦式的 AGI 缝合在一起。我认为这极不可能产生一个在其智能中有完整认知的 AGI。如果我们打算继续从模态处理过程中获得流线型的效率，我们必须有意识地将多个模态联合起来——理想方式是从人类直觉和经典学科领域中汲取养分，例如某项来自麻省理工学院的工作。或者，我们可以将学习重新定义为一个具身和互动的过程，其中不同的模态自然地融合在一起。我们可以通过使用相同的感知系统处理图像、文本和视频，并使用相同的行动系统产生生成文本、操纵物体和导航环境的行动来实现这一点。我们将用灵活的认知能力弥补效率损失。

从某种意义上说，AGI 拼图中最具挑战性的数学部分已经被解决：通用函数逼近器已经出现了。剩下的是清点我们需要的函数，并确定它们应该如何被安排成一个连贯的整体。这是一个概念问题，而不是数学问题。

致谢

我要感谢 Lucas Gelfond、Daniel Bashir、George Konidaris 和我的父亲 Joseph Spiegel，他们对这项工作的深思熟虑和彻底的反馈。感谢 Alina Pringle 为这篇文章制作的精美插图。

作者简介

Benjamin 是布朗大学计算机科学博士候选人。他对将意义与结构化决策元素联系起来的语言理解模型感兴趣。更多信息请访问他的个人网站（https://benjaminaspiegel.com/）。

原文链接：

https://thegradient.pub/agi-is-not-multimodal/