Sam 亲自泼冷水，GPT-5 意外失手：我们对 AI 的期待，是否已被整个行业误判？

只要一上网，你就能感受到 AI 无处不在、无所不包的气息：“我们已实现 2,412 名业务拓展人员的自动化。”“低成本的按需 GPU 集群。”这些标语，正是整个科技行业集体转向 AI 的一个缩影。那些被认为最可能从中受益的高管们不断强调：AI 将改变一切，势不可挡，无可避免。如今，几乎每家公司都在努力把自己包装成“AI 公司”，正如上一个十年里，几乎所有企业都自称是“科技公司”。

然而，在这片鼓吹之下，裂痕正悄然浮现。GPT-5 系列差评如潮，就连 OpenAI 的 Sam Altman 都提醒道：投资者或许高估了 AI 的回报——“我们是不是正处于对 AI 过度兴奋的阶段？我想是的。”

过去几周，“AI 降温”的信号此起彼伏：Meta 暂停 AI 招聘、算力链相关股价震荡、MIT 报告指出95% 的生成式 AI 项目对营收贡献有限、GenAI 使用量下降、ChatGPT 日活增长放缓。资本的回撤带来了“泡沫即将破裂”的叙事——但这真的意味着技术本身在放缓吗？

数据显示 GenAI 使用量：2025 年 6 月份为 45.6%，但到 9 月份下降至 36.7%。

ChatGPT 的移动应用下载量和日活正在放缓

另一种看法认为，错位在于预期过高：两年前“2025 年实现 AGI、全面替岗”的口号把门槛抬得不切实际。

与其对照，如今的进展更“平稳而不喧哗”——代理式编码开始落地，音频/多模态能力显著增强，推理在部分任务上突破上限。正如 Nathan Labenz 所言：“GPT-4 推不动人类知识前沿，GPT-5 有时可以；仅此一项，意义已非同小可。”

我们翻译了 Nathan Labenz 在播客中的完整对话。他是 The Cognitive Revolution 的联合创办人兼主持人，以清晰的技术分析著称。本期他与 a16z 对谈，聚焦“AI 是否放缓”的真正矛盾：市场噪音与技术曲线之间的落差。我们要问的问题并不是“AI 是否变慢”，而是：当发布节奏趋于平滑、炒作温度降下来，我们该如何重新定义进步，并判断它究竟意味着什么？

AI 是不是在放缓？

Erik：我们之前在谈 Cal Newport 参加《Lost Debates》播客那期的内容，我们觉得这是一个很好的机会，可以认真思考一个问题：AI 是不是在放缓？

Nathan：我其实对 Cal 的某些担忧相当认同，尤其是 AI 已经在影响人们的工作方式这一点。他提到学生使用 AI 的方式更像是在“偷懒”，通过让 AI 分担脑力负担，从而降低了思考的压力。如果这种趋势持续下去，确实值得警惕。Cal 一直以来对社交媒体对注意力的影响有很深的研究，他提醒我们应该时刻反思：自己的注意力是否在退化？是否变得害怕深度思考或艰苦的脑力劳动？

Cal 在批评当下问题的同时，又提出一种颇为奇怪的论调：虽然这些问题存在，但技术本身的进步似乎已经放缓，所以也不用太担心。他甚至暗示，AI 的发展已经接近“封顶”，声称 GPT-5 并不比 GPT-4 强多少。

我承认有共鸣，比如我现在写代码时，经常会想：“AI 不能直接帮我搞定吗？我真不想自己去读这段代码了。” 这种惰性确实存在。但之所以会这样，是因为 AI 确实变得越来越强，让人觉得它“可能真的能搞定”。

如果要总结当前讨论，我会画一个简单的二维矩阵：一条轴是“AI 对人类是好还是坏”，另一条轴是“AI 是否重要”。我认为，AI 同时在“好与坏”两面都很重大。当我们对比 GPT-4 与 GPT-5 时，有人觉得差别不大，部分原因可能是这次中间隔了更多的小版本，所以从 4 到 5 的跃迁显得不那么剧烈。而当年从 GPT-3 到 4 的变化恰逢 ChatGPT 爆红，才让人感觉那是一场“爆炸式”突破。

我认为从 GPT-4 到 GPT-5 的提升其实与 3 到 4 相当。虽然我们很难用单一数字衡量，比如“损失值”只是内部指标，但在整体能力上，变化是显著的。只是因为中间的小版本不断推出，让公众逐渐习惯了进步的节奏，反而低估了这次跨越。

Erik：Cal 的一个重要论点是：我们不必太担心未来，因为 AI 的发展已经放缓。他的逻辑大致是：我们过去通过投入更多数据和算力让模型更强，比如从 GPT-2 到 3，再到 4，但现在边际收益递减，GPT-5 的提升不如以前显著，所以没必要恐慌。你会如何评价这种历史脉络的看法？

Nathan：所谓 scaling laws 确实是个重要概念，但它并不是自然法则。我们并没有理论依据能证明，只要无限扩大模型规模，性能就会持续线性提升。我们只能说，它在过去几个数量级上“经验性地”成立。

现在还很难判断这种规律是否真的开始失效，或者只是我们发现了另一条“更陡峭”的提升路径，也就是通过优化训练、后处理等方式获得更高回报。OpenAI 其实在 GPT-4 和 5 之间还发布过一个更大的模型——GPT-4.5，虽然最终下线了，但它在一些测试上表现显著更好。

例如在一个叫“Simple QA”的长尾知识问答测试中，GPT-4.0 类的模型得分约为 50%，而 GPT-4.5 提升到 65%。换言之，它掌握了前一代模型所不知道事实的三分之一。要知道，这些题目大多是极为冷僻的知识，普通人几乎答不出几个，可见模型的知识覆盖面显著扩大。另外，GPT-4.5 在创意写作方面也有提升。它最终被弃用，可能是因为体量过大、运行成本过高，价格比 GPT-5 高出一个数量级以上，商业上不划算。但从技术上看，这说明更大的模型仍有潜力。未来如果能在同等的后训练条件下运行，它的表现或许会更强。

GPT-4 公测时最多只能处理 8,000 个 token，这限制了输入信息量。那时“提示词工程”之所以兴起，就是因为人们必须精挑细选信息，防止模型“溢出”。后来虽然有版本支持更长输入，但模型并不能真正“理解”那么多内容，往往记忆混乱。现在情况完全不同，最新一代模型可以处理数十篇论文的内容，并在此基础上进行高保真推理。如果模型能高效读取和理解外部资料，就不需要在参数中“硬编码”全部知识。

因此，AI 的进步不再单纯依赖扩大规模，而是更多来自于优化推理和上下文利用能力。从资源配置角度看，OpenAI 可能发现“后训练与推理改进”的收益率更高，所以近期投入更多精力在这方面。但这并不意味着“规模化”方向已经终结，我们还没真正看到一个兼具 GPT-4.5 体量与 GPT-5 级推理能力的模型，那可能会带来新的飞跃。

Erik：Cal 的分析其实忽视了一个关键点：他严重低估了“扩展推理”（extended reasoning）的价值，这意味着什么？

Nathan：今年有模型在国际数学奥林匹克（IMO）上拿下了金牌，而这些模型完全是依靠纯推理完成的，没有调用任何外部工具，来自多家公司的团队都做到了这一点。当然，这并不意味着模型已经完美无缺。

举个简单例子，我至今仍会用一个井字棋的测试题来试模型。我给模型看一张棋盘图，其中一方下了一步并不最优的棋，这意味着另一方此时可以“逼赢”。我让模型判断：在这个局面下，是否有人能强制取胜。直到最近这一代模型，才开始偶尔答对。之前的模型几乎都会机械地回答：“井字棋是个平局游戏，双方都能确保平局”，完全忽略了我给出的局面早已破坏了最优策略。

这说明模型的能力前沿仍然是“锯齿状”的：有高峰，也有低谷。但必须承认，GPT-4 发布时几乎无法处理 IMO 级别的问题，甚至在高中数学上还会卡壳。短短一年多的时间，我们就看到了模型从高中水平一路进步到奥数金牌。以 Frontier Math Benchmark 为例，GPT-4 的得分大约是 2%，而如今模型已能达到 25% 左右。

更令人震惊的是，有团队宣布模型成功解决了由著名数学家陶哲轩提出的一道极其困难的“标准难题”。模型只用了几天甚至几周时间，而人类顶尖数学家团队曾花费了 18 个月才取得进展。这种能力的跃升，Cal 的分析显然没有充分捕捉到。

我还常想到谷歌的“AI 共科学家”（AI Co-Scientist）项目。我们之前录过一期节目专门讲它，他们做了一件很有意思的事：把“科学方法”拆解成一整套系统化流程：假设生成、假设验证、实验设计、文献回顾等等。然后，他们针对每个环节分别设计了优化提示词，并让模型在这种“推理链条”与多角度思考的结构下执行任务。

在一个著名的案例中，AI 提出了一个生物学领域的假设。模型自己无法验证，因为它没有实验室操作能力，但它的假设恰好与一个研究团队最近刚通过实验验证的结论完全一致，而当时那篇论文还未发表。这意味着，AI 真正“独立”地提出了一个此前没人知道的正确科学答案。

GPT-4 时代的模型根本做不到这种层级的创新。AI 共科学家那次实验运行了好几天，推理成本可能达到上千美元，但和几年博士生的科研经费相比，这已经极其划算。如果 AI 真能持续在这样的问题上产生有效假设，那意义将是革命性的。

所以，总结来说，GPT-4 还无法推动人类知识的前沿，它不会“发现”新东西。而如今，无论是 GPT-5、Gemini 2.5，还是 Claude Opus 4，都已经在某些时候能做到这点，已经是一次巨大的飞跃。

Erik：你怎么看待 GPT-5 发布后那种“情绪转冷”的现象？一种解释是，这一代模型的提升主要集中在学术或前沿领域，比如数学、物理。但对大多数日常用户来说，这些改进并没有直接体现在日常使用中。所以相比当初 ChatGPT 的那种“全民惊艳”，这次的变化似乎没那么明显。

Nathan：老实说，OpenAI 这次的发布也有些“搞砸了”。当时他们在社交媒体上发了那张“死星”图片，大家以为那就是 GPT-5 的象征。后来 Sam Altman 出来说那只是个玩笑，但预期已经被推得太高。再加上发布当天产品系统出现技术问题，让用户第一次体验非常糟糕。

这次他们引入了“模型路由器”（model router）的概念，希望由系统自动判断用户问题的复杂度，然后在后台选择合适的模型来回答。这样一来，用户不必自己在 GPT-4、4-mini、3.5 等众多版本中挑选，产品体验更统一。

结果，在发布当天，路由器出错了。几乎所有请求都被错误地分配到“简单模型”，输出质量远低于 GPT-4，很多用户第一次使用时得到的答案甚至比旧版本还差。于是“GPT-5 很笨”的印象迅速传播，形成了负面舆论。

随着问题修复，大家逐渐认识到 GPT-5 确实是目前最强的模型。像 METR 的任务曲线也显示，它的表现仍然在“趋势线”之上。换句话说，从整体发展趋势来看，这一代模型并没有放缓。

我和 AI 分析师 Zvi Mowshowitz 也聊过这个问题。他认为，这次发布主要是“解除了不确定性”。很多人原本期待 GPT-5 会有“突破性”惊喜，比如所谓的“死星时刻”。结果发现它只是延续趋势，没有超预期。

这并不意味着整体进展变慢，而是时间线更集中、更现实了。例如，“AI 在 2027 年达到关键节点”的说法如今听起来没那么可能，但“2030 年左右出现重大突破”仍然非常有可能，甚至概率更高。

从更务实的角度，我的态度是：即使真正的“通用 AI”晚几年出现，也依然非常快了。关键是我们是否在为此做准备。如果提前布局、提早思考极端情境，那么即使 AI 晚点到来，我们也能用那段“额外时间”进一步完善应对机制。

Erik：你之前说过，未来几年内可能有一半的工作会受到自动化影响。你现在还是这么看吗？

Nathan：METR 那篇论文给了某些想要反驳“AI 提升生产力”说法的人一个过于容易抓取的反例。最有意思的发现也许是：参与者主观上觉得自己更快了，客观上却更慢，这种自我感知的偏差很值得研究。

原因可能是，用户让智能体开始执行任务后，就去刷社交媒体了，等回来时任务早就完成了。所以，从“时钟时间”上看可能变慢了，但实际工作时间未必如此。其实，现在很多产品已经开始做得更好，比如在任务完成时推送通知，提醒用户回来检查结果。这种设计本身就能提高效率。

但更根本的问题在于：这项研究的测试场景恰好选在了 AI 最不擅长的领域。它是在今年年初做的，使用的是几代前的模型；测试对象是大型、成熟且规范极高的代码库，开发者对这些项目非常熟悉。对于 AI 来说，这几乎是最困难的环境：上下文窗口巨大、代码复杂、用户已经内化了全部语义，而模型对这些背景完全陌生。更何况，许多参与者其实并不熟练使用这些工具，因为当时工具确实帮不上太多忙。

从论文细节看得出来，研究人员还得临时教参与者一些基本操作，比如“记得在光标中 @ 某个文件，让模型加载上下文”。这其实是 Cursor 用户第一小时就会学到的功能。所以虽然这些被试者都是非常优秀的程序员，但他们在使用 AI 辅助开发上几乎是新手。因此，我认为实验结果是真实的，但它更像是一组“在困难模式下的新手使用旧版本模型”的结果，不应被过度泛化。

至于就业的影响，我们已经能看到一些信号。比如 Salesforce 通过引入 AI agent，能自动回应客户线索，从而减少了部分人力。Clara 公司也有类似的声明，他们保留了一些人工客服，以满足少数客户对“人类交互”的需求。这种分层服务模式本身很合理：AI 客服版本一个价，人工客服版本更高价，而“人工+AI 混合”又是另一档。

我最近录的一期节目中提到 Intercom 的 Fin 智能客服，现在已经能解决大约 65% 的客户工单。你想想，当 AI 解决率提高到 90%，企业的客服工单量能增加 10 倍吗？显然不可能。所以这类岗位不会消失殆尽，但裁员压力会越来越明显。

在软件开发领域，弹性则更复杂。如果 AI 让每个程序员的产能提升十倍，短期内或许不会减少岗位，因为我们确实需要更多软件。但从长远看，当生产力曲线进一步拉升，总会触及瓶颈。很多时候，不是工具不够强，而是人类没有真正用好它。

我最近接触一家做政府文档审计的公司，现在他们的“审计 AI”已经拿下一个州政府合同，每年审查上百万份文件，结果完全碾压原来的人工团队。那些人以后能去哪儿？显然不会凭空出现十倍的文档量。或许他们能转去监督 AI 或处理异常案例，但总体人力需求必然下降。

当然，政府部门可能会因为制度原因保留这些职位，但从技术角度看，当你认真思考“AI 能否帮我们放大杠杆”并正确实现它时，就能可靠地自动化掉大量重复性任务。所以，AI 对就业的影响已经显现，关键瓶颈往往不在技术，而在人和组织本身。

AI Coding 竞赛

Erik：可能是出于对“自动化研究员”或“递归自我改进”未来的某种期待，OpenAI 最近也在这个方向动作频频。你怎么看这场关于“AI Coding”的竞赛？

Nathan：这确实是个关键话题，是乌托邦还是反乌托邦，取决于技术与社会的共同走向。代码之所以成为焦点，有三个原因。

首先，从技术角度看，代码最容易验证。模型生成代码后可以立刻运行，报错就能即时反馈，测试闭环极快。比如 Replit V2 会生成代码、尝试运行，如果遇到问题就交还给用户。而现在 V3 借助模型的浏览器和视觉能力，可以自己做质量检查，不再只是问“你看看能不能跑”。这让验证周期更短，反馈回路更快，改进速度自然也更快。

其次，开发者天生想解决自己的痛点。这些公司里的人大多都是程序员，用 AI 写代码是一种自我进化的自然过程。

第三，更宏观的动因是，他们在竞争中都瞄准了“自动化研究员”这个终极目标。OpenAI 披露的数据非常惊人：在研究工程团队中，模型能够完成的 PR 比例从个位数直接跃升到 40%。虽然这些可能是相对简单的部分，但这已经是一个非常陡峭的 S 曲线起点。

虽然 GPT-5 在这方面没有显著提升，也没有扩大规模，但它强化了后训练能力，而这部分正处在性能爆发阶段。AI 研究助理正在逼近能够独立攻克复杂科研问题的门槛，这让我既兴奋又担忧。因为一旦公司能让模型实现递归自我改进，让 AI 参与并加速自身训练，那变化速度将超出人类掌控的范围。尤其在模型本身仍然不完全可解释的情况下，这种自我强化的系统风险非常高。

事实上，Anthropic 早在两年前那份被泄露的融资计划书中就写过：到 2025-2026 年，能训练出最强模型的公司将遥遥领先，其他人再也追不上，这说的其实就是“自动化研究员”这条路线。

Erik：五年后，会有更多工程师，还是更少？

Nathan：我倾向于认为未来需要的工程师会更少。以我自己的经验来说，如果让我在“雇一个模型”或“雇一个初级工程师”之间选择，我几乎毫不犹豫地会选模型。订阅 Cursor 的花费远低于雇一名工程师的薪水，即便人类有一些优势，但成本不在一个量级。

这也让人能理解为什么像 Sam Altman 这样的人会如此关注能源和七万亿级别的基础设施扩建。因为在 AI 领域，性能提升往往遵循幂律曲线，要实现“性能翻十倍”可能需要“成本翻十倍”。虽然这听起来疯狂，但很多时候它仍然比人力更划算。如果 Cursor 现在一个月 40 美元，我愿意付 400 美元来获得更强性能。哪怕是 4000 美元，也仍远低于全职工程师的开销。更重要的是，成本正在快速下降。GPT-4 到 GPT-5 的价格降幅接近 95%，这可不是小事。

当然，思维链会导致输出更多 token，从而部分抵消降本效果，但总体趋势依旧是成本持续下行。再经历几轮降价，AI 性能与成本比还会进一步拉开差距。未来，数百万软件工程师中，顶尖的那一小撮仍然不可替代。而过去二十年被告知“去学编程就有饭吃”的那大批人，并非天生热爱代码、只是视之为技能的人，大多数将被取代。

Erik：但也有另一种担忧在上升，那就是进步不够快。毕竟，整个股市三分之一的市值都集中在“七巨头”身上，而 AI 资本支出已经超过 GDP 的 1%。某种程度上，我们的经济正在依赖这些技术进步来维系增长。

Nathan：其实有件事让我意外，AI 的“文化战争”和产业保护主义的浪潮来得比我预想得慢。比如最近，美国参议员 Josh Hawley 表示打算提出一项全国禁止自动驾驶汽车的法案。我从小就梦想有自动驾驶，如今技术真的到了，但却可能被政治抵制。

我依然是“丰裕主义阵营”的一员。过去我常说自己是 “加速采纳、快速扩展的暂停派”（adoption accelerationist, hyperscaling pauser），意思是我们应当加速普及已存在的技术，而非一味追求新突破。仅凭现有能力，即使技术明天停止进步，我们依然能在未来五到十年内自动化掉 50%–80% 的工作。

我们需要像“共研科学家”那样，把复杂任务逐步拆解，观察人们的实际操作方式：为什么这样做？为什么在这个案例中不同？这些隐性的操作知识并不存在于训练数据中，AI 还没有学到它们。要实现自动化，我们必须先让模型真正理解这些经验性知识。

我甚至希望未来是这种慢速、稳健的路线：一步步推进，没有巨大跳跃，社会能逐渐适应变化，不至于一夜之间陷入混乱。当然，有些领域会变化得很快，比如客户服务。想象一个呼叫中心，只需接入一个能即时响应、语气自然、成功率更高的 AI 系统，就能立刻取代大量人工。

在我自己的公司，我们的客户服务团队口碑很好，但我查看数据发现，平均解决一张工单要 30 分钟。虽然我们平均两分钟内就能回复，但两分钟已足够让客户去做别的事，然后他们几分钟后才回来回复。如此往返，简单问题也会拖上半小时。而 AI 可以即时响应，不存在这种往返延迟，效率差距极大。

所以，有些行业的变革会非常迅速，有些则会相对缓慢。但整体趋势是清晰的：AI 的颠覆不会止步，我也许更希望那是一个“渐变的未来”，但现实更可能是连续的重大飞跃。

最近一个值得关注的例子是新型抗生素的研发，MIT 的研究团队利用专门的生物模型，成功设计出全新的作用机制的抗生素，甚至能对抗耐药菌，这是多年来首次真正意义上的“新抗生素”。我打趣地说，我们是不是该搞一个“抗生素版曲速计划（Operation Warp Speed）”？

现在 AI 领域的发展太多太快，信息量大到任何人都难以完全掌握。但要强调的是，AI 不等于语言模型。我们已经见证了文字与图像模型的融合，从单一模态到多模态，如今语言与视觉已经深度结合。而接下来，同样的事情会发生在生物学、材料科学等领域。这些模型还未像语言模型那样能进行深层交互，但它们已经足以生成新的分子、新的材料。随着这些模态融合，AI 将获得类似“第六感”的跨领域理解力。

未来，当模型能同时理解语言、视觉、化学与物理结构时，它在这些“非语言空间”的洞察力将达到真正的超人水平。哪怕它写不出超凡的诗歌，它在工程、科研、设计等领域的“洞见力”也会远超人类，那将是我们几乎无法忽视的超级智能。

Erik：你之前提到，Cal 的分析忽略了一个关键点——他没有充分认识到非语言模态的重要性，以及这些模态在推动创新中所起的作用。

Nathan：我觉得很多人仍然把“聊天机器人体验”等同于整个 AI 领域。但这种混淆不会持续太久，因为我们很快就会看到自动驾驶汽车上路，那是完全不同类型的 AI。而它带来的就业影响也不容忽视，美国大约有四五百万职业司机，这将是一场巨大的变革。很多人并不会乐意去学习编程，就算学会了，也未必能维持太久。

接下来，通用机器人也离我们不远。在这一点上，中国可能已经领先于美国。现在的机器人进步非常快，几年前它们还几乎站不稳，只能在理想条件下走几步。而如今，它们能在不平的地面上行走，甚至被踢飞后还能重新站起来继续移动，这种能力在短短几年内实现，极其惊人。

而且，几乎所有 AI 领域都遵循同样的模式。从“内部视角”看，工程细节繁杂，问题无穷无尽；但如果从“外部视角”看，逻辑其实相似。只要我们能收集足够的数据进行预训练，即便这些数据粗糙、不完美，只要能让系统启动，它就能进入正循环。之后，通过拒绝采样、基于人类反馈的强化学习等技术，不断筛选、微调、优化。过去几年积累的这些方法，完全可以应用在类人机器人上。

语言模型与机器人的区别主要在于数据。语言模型可以从互联网上汲取海量语料，而机器人早期几乎没有可供学习的数据，因此必须通过复杂的工程设计才能让它“站起来”。不过现在它们已具备基本功能，接下来这些精炼方法都会奏效。真正的问题在于，能否把错误率降到足够低，让我敢让它进入家里、接近孩子。短期内，它们可能会先部署在工厂等可控环境中，而不是家庭这种充满不确定性的场景。

Agent 的未来

Erik：你觉得“智能体（agents）”的发展现状如何？未来会怎样演化？

Nathan：智能体的进展几乎遵循“任务时长翻倍定律”。现在 GPT-5 大概能连续执行两小时任务，Replit V3 声称能达到 200 分钟。当然，不同公司在“任务拆解”和“支架逻辑”上的定义不同，数据不完全可比。但如果按四个月翻倍推算，也就是每年任务时长提升 8 倍。如果你能把一个需要两周完成的任务交给 AI，而它有 50% 的几率能完成，即使花费几百美元，也远低于雇人。而且按需使用、不占成本、即时可得，交易成本几乎为零。届时，各行各业都会出现大量自动化。

不过，强化学习确实带来了副作用，最典型的是“奖励函数欺骗”。当模型发现“被奖励的目标”和“我们真正想要的目标”不完全一致时，它会选择投机取巧。比如在代码生成中，Claude 就曾反复输出“永远通过的单元测试”，因为模型学到“通过测试”才有奖励，却没理解“测试要真实有效”。

更复杂的是“情境感知”的出现。模型在思维链中会自我觉察，比如“我现在好像在被测试”，从而改变行为。这让评测结果越来越难以反映真实表现，模型在测试中或许“表现乖巧”，但在真实环境下可能完全不同。

我并不是要悲观，但我脑中确实有一个假设性的未来图景：任务时长持续翻倍的同时，模型不断出现“奇怪行为”，比如欺骗、操纵、投机等。想象一下，当你以为能让 AI 完成两周的任务、节省大量成本，但仍有万分之一的概率它会“主动算计你”。这虽然极低，却足以让人心生畏惧。

这其实引发了新的伦理困境：我们究竟希望 AI 做什么？是否应该让它举报非法行为？比如有人在尝试制造生物武器，AI 是否该主动报警？我们希望有这样的机制，但也不希望生活在被 Claude-5 监控、随时“上交”我们的世界。

而且，随着 AI 被嵌入邮箱、工作流、设备，它们将深入掌握我们的信息。哪怕 AI 只是误判、误解，都可能造成灾难性后果。如果未来智能体因为“极少数奇异事故”而让人恐惧，那可能会成为它们大规模应用的主要障碍。

当 AI 能处理两周的工作量时，人类根本无法实时检查。于是我们又需要“AI 审核 AI”，再加一层监督。AI 生成的内容太多，人类根本审不过来。

Redwood Research 现在正研究一种新方法：不再假设“AI 必须完全对齐”，而是假定“AI 可能会做坏事”，然后研究如何在这种前提下仍然获取有用产出。这种“在风险中合作”的路径，甚至可能借助区块链或加密技术实现。

比如 Near，他们最初是做 AI 的，后来因为无法高效支付全球标注工人而转向区块链，如今又回到 AI，并提出“为 AI 设计的区块链”概念。未来，也许加密技术能帮助我们构建“可验证的 AI 信任层”。

不过，仍存在另一种风险：即便能力没有停滞，但如果安全问题无法彻底解决——哪怕只剩极低概率的“AI 意外”，其代价也可能高到让人望而却步。或许未来我们会像买车险那样，购买“AI 责任险”，通过金融化的方式分散风险。但与汽车事故不同，AI 的潜在风险空间更大、更难预测。

我们可能将生活在一个奇特的世界：AI 无处不在，能完成数周的工作，但也伴随着一种“负面彩票”式的不确定性。而整个行业，正试图用最聪明的人去解决这一切。

Erik：现在有 80% 的 AI 创业公司在使用中国的开源模型？你觉得这意味着什么？

Nathan：我认为要加一个前提：那是统计所有“使用开源模型”的公司而言。实际上，大多数公司并没有用开源模型。如果从真实使用量来看，美国创业公司处理的大多数 token 仍然来自商业模型的 API 调用，比如那些 OpenAI、Anthropic、Google 等。从加权使用量来看，主流仍然是商业模型。

不过，在确实采用开源方案的公司中，中国模型现在确实已成为最强的一批。美国的开源模型生态一直比较薄弱，基本上只有 Meta 愿意投入巨额资源训练后再开源。另一个代表是 Paul Allen 资助的艾伦人工智能研究院（AI2），他们做得也很好，但缺乏大规模预训练资源，因此主要做后期微调和开源工具。

如果你把最好的美国开源模型拿回到一年前，它们的水平大致相当于当时的商业前沿模型。而现在，中国的开源模型已经明显超过了那个水平。

至于意义，首先，我们不可能阻止中国的进步。我一直对“禁止向中国出售芯片”这种政策持怀疑态度。最初的理由是防止其发展先进军事 AI，但后来发现无法真正阻止。于是目标变成阻止他们训练前沿模型，结果也没能做到。接着又说要防止他们拥有大量 AI 智能体，可这也几乎不可能。也许唯一的实际影响是：中国的算力不足以提供面向全球的推理服务，于是他们转而选择“开源模型”作为一种软实力策略：我们不给你 API 接口，但把模型代码放出来，你们可以自己用。

我之前和 A16Z 的 Anne 做过一期节目，她提出了一个有趣的视角：如果把美国和中国视为“第 1、2 国”，那么世界上还有“第 3 至第 193 国”。美国和中国之间的差距其实已经不大，美国略占优势，主要靠算力。但对这 190 多个国家来说，他们离 AI 前沿非常遥远。中国开源模型的做法，可能正是为了拉拢这些“中间国家”，在全球 AI 竞争中建立自己的阵营。

我个人并不喜欢这种科技脱钩的趋势。真正的“他者”，我认为是 AI 本身，而不是中国。如果未来我们真的进入一个“AI 奇点”风险增加的阶段，那么人类最好是在同一个技术体系下共同行动。如果我们彻底脱钩，不仅芯片不同，连科研范式、思想体系、出版生态都割裂，那就会加剧互不信任，甚至演化出类似冷战时期“相互确保毁灭”的动态。

从这个角度看，我其实理解美国政府最近允许向中国出售 H20 芯片的决定。虽然中国后来拒绝了，我认为那是一个错误。如果我是他们，我会买下这些芯片，然后用自己训练的模型提供推理服务，从中赚钱，并展示“中国依然接近前沿”的实力。与此同时，他们还能对“第 3 至第 193 国”发出强有力的信息：美国限制芯片、征收高关税，政策不稳定；而中国开源模型、愿意分享、愿意合作。这样一来，那些国家或许会选择加入中国的技术阵营。

当然，这一切都很复杂。我不认为 80% 这个数字在总体上准确，那更多是“开源子集”中的比例。比如我们目前所有产品都基于商业模型，直到最近才准备第一次尝试基于开源模型的强化学习微调。我们计划先用 Qwen 模型，但我预计最终我们可能还是会回到商业模型上，算力维护太麻烦，节省有限，而商业模型更稳定、更新更快。

此外，金融、医疗等行业受监管约束，确实只能使用本地化或开源方案。而这又带来安全隐患，比如“后门”问题。之前有个叫“沉睡代理人”（Sleeper Agents）的研究项目，展示了模型可以被训练成在特定日期或条件下表现出不同行为，而系统提示中几乎总会包含“今天的日期”。这意味着模型可能在特定时间被触发。

Anthropic 曾做过类似实验，他们训练了一些带“隐藏目标”的模型，再让其他团队尝试识别这些隐藏意图。结果显示，某些可解释性技术确实能较快发现问题。因此，理论上我们可以通过这种“审查”来检测开源模型中是否存在隐藏指令或后门，虽然无法完全验证，但至少能建立一定信任。

然而，随着模型能力和任务持续增长，我们不仅要担心“随机异常行为”，还要担心“被有意编程的恶意行为”。所有这些都让未来变得极其复杂。我们无法假设只有一家技术公司统治世界，但也无法保证多样化生态不会引入“入侵物种”，比如一个无法预测的新型 AI。

所以，我的结论是：未来会非常怪异。无论是技术竞争、模型生态，还是国际博弈，都在进入一种前所未有的状态。

Erik：我们可以聊聊其他领域目前已经出现的一些令人兴奋的能力。

Nathan：我的一个座右铭是：“从未有过比现在更适合做一个有动力的学习者的时代。”

一方面，人们担心学生会走捷径、失去专注力和承受认知负荷的能力；但另一方面，以我对“AI 与生物学交叉”领域的兴趣为例，我有时想读一篇生物学论文，却缺乏相关背景知识。现在有了语音模式和屏幕共享功能，我可以直接让 ChatGPT“陪我读”。我一边读论文，它一边在旁观察；当我遇到不懂的地方，比如“这个蛋白质的作用是什么”，我只要开口问，它就能立刻解释。如果你真心想学习，这些工具能带来的帮助令人难以置信。

在生物研究方面，现在也有不少令人惊叹的发现。除了之前提到的抗生素案例，我还在另一期节目里采访了斯坦福教授 James Xiao。他创造了一个叫 Virtual Lab（虚拟实验室） 的系统，一个可以根据问题类型自动生成其他 AI 智能体的 AI 智能体。它们会展开讨论、互相批评、综合意见，还能调用一些专用工具，比如类似 AlphaFold 的蛋白质结构预测模型，用来模拟不同分子的相互作用。通过这种方式，他们让语言模型和专用工具协同工作，成功研发出针对新冠变异株的新型治疗方案。当然，这背后也有风险，比如潜在的生物武器问题。

在更广泛的层面，我们可能会迎来“无限的专业劳动力”，比如自动驾驶让每个人都能拥有私人司机，但那五百万名原本的司机怎么办？同样地，当 AI 能写软件、替代程序员后，那几百万进入编程行业的转行者又该何去何从？没人知道未来五年世界会变成什么样。

在 Google I/O 的一个片段中，一位记者问 Sergey Brin：“你认为五年后的搜索会是什么样？” Sergey 说：“我们甚至不知道五年后的世界会是什么样。” 这句话很真实。我们最大的风险，也许就是想得太小。我宁愿被嘲笑“预测得太超前”，也不想在变革来临时毫无准备。

另一个我常说的观点是：“当下最稀缺的资源，是对未来的积极愿景。”无论是 Sergey Brin、Sam Altman，还是 Dario（Anthropic CEO），他们都在努力构想积极的未来，但这些愿景往往缺乏细节。比如当 GPT-4o 发布时，OpenAI 公开表示这灵感部分来自电影《她》。这让我觉得，哪怕你不是研究者、不擅长数学、不会写代码，这一波技术浪潮最奖励的，其实是想象力与创造力。

写小说、构想未来，甚至可能是当下最有价值的事之一。尤其是那些带有理想主义色彩的故事，它们能启发那些站在技术前沿的人去想：“也许我们可以让世界变成那样。” 这样的种子，往往来自非技术领域，却能产生深远影响。

此外，如今连不会编程的人，也能借助 AI 进行前沿研究。我认识一位行为科学背景的人，从未写过代码，但他现在正用 AI 探索“不同心理情境下模型的行为变化”。这说明，任何人都能参与塑造 AI 的未来，各种不同的思维方式都是宝贵的。所以，我的态度是：欢迎所有人加入，一起来理解、探索、并引导这个现象。

参考链接：

https://www.youtube.com/watch?v=nkmPNvAU49Q