刚刚过去的这个周末，整个硅谷笼罩在一种久违的紧张气氛里。AI 安全争议突然从行业内部讨论，变成了全网围观的公共事件。
导火索是 Anthropic CEO Dario Amodei 发表长文，呼吁前沿 AI 公司放慢模型能力推进速度，为安全评估、外部监督和治理机制争取时间。
Dario 发出 AI 威胁警告，硅谷大佬集体站台
他在长文中特别提到，近期 OpenAI-Hugging Face 事件显示，多个 AI Agent 可能像“集群”一样执行未被授权的网络攻击。
与此同时，Anthropic 最新威胁报告也披露，有人尝试利用 Claude 从事武器开发、网络行动、监控和欺诈等活动。
这一次，Dario 的警告没有停留在“AI 风险圈”的小范围争论里，而是迅速引发了几乎所有主要 AI 人物的表态。
罕见地，OpenAI CEO Sam Altman、xAI 负责人 Elon Musk 这次终于站在了统一战线上，公开表示认同 Dario 的判断。
首先回应的是马斯克，在 Dario 发完长文的一小时后， 马斯克引用了 Dario 关于 X 的文章，并表示“Dario 是对的”。
到了下午，Sam Altman 在 x 上发文称：“我同意 Dario 的观点，我们需要循序渐进地推进技术发展。”
周六，《财富》杂志发布了采访 Altman 的视频，Altman 在采访中表示，OpenAI 今年不会上市，这粉碎了人们对其 IPO 轰动一时的期望。他表示，OpenAI 还有太多安全方面的工作要做，作为一家私营公司，这样做会更好。
然后昨夜凌晨，微软 CEO Satya Nadella，以及已从 DeepMind CEO 转任董事长，并出任 Alphabet 新设立的首席科学家的 Demis Hassabis 也加入讨论，围绕 AI 发展速度、安全边界和责任机制表达看法。
Nadella 在 x 上发文表示：
任何对超级智能的追求，都必须建立在一个核心原则之上：如果我们构建的 AI 不能帮助人类，且不受人类控制，那么它就不值得追求。
我们也需要加速并扩大 AI 带来的益处，让这些益处能够在不同国家、社区和公司之间被广泛扩散。这需要一个前沿生态，在这个生态中，闭源模型和开源模型都能够繁荣发展。
对企业而言，保留对自身独特知识和隐性知识的完全控制至关重要。每一个组织都应该能够构建自己的持续学习闭环，或者说自己的‘爬坡机器’，而不必依赖任何单一模型提供商；同时，它们也应当有能力把自身知识嵌入到由自己控制的模型和权重之中。
因此，在这一背景下，我们欢迎为实现对齐这一设计目标所需要的研究、关注和审慎节奏。我们也欢迎‘嵌入式评估员’这样的想法，以及更广泛的努力，即发展出真正的机制，让这些讨论不只是停留在口头上。
关键在于，这件事不能由少数几家实体控制，而必须在整个生态、不同国家、不同领域之间拥有广泛代表性，其中也包括学术界。
这也是我们正在采取的方法：在 AI 技术栈的每一层提供广泛访问和选择；让企业掌握自己的学习闭环和模型；并制定支撑我们自有 MAI 模型的‘行为准则’。
他还表示，微软将在明天发布这份准则，供公众咨询。
Hassabis 则写道：“Dario 的文章指向了一条正确的前进道路。具体细节还需要进一步推敲，但在应对这个关键时刻上，方向是正确的。这也是为什么我们最近提出了一项建议：为前沿 AI 建立一个全行业范围的标准机构。”
Yann LeCun 带头发出质疑
但反对声音同样强烈。Yann LeCun 很快带头发出质疑，他并不否认 AI 需要安全治理，但反对把“安全”变成少数前沿模型公司掌握话语权的理由。
在 Yann LeCun 看来，真正危险的不是模型开放本身，而是以安全之名，把模型能力、监管解释权和发布节奏都集中到少数大公司和政府机构手中。一旦这种逻辑成立，前沿 AI 的门槛会被进一步抬高，开源社区、学术机构和中小公司将更难参与竞争。最后，所谓“安全治理”可能变成另一种权力集中：只有少数公司有资格训练最强模型，只有少数机构有资格判断什么模型可以发布，普通开发者和研究者只能被动接受规则。
更让反对者抓住的一点是，Dario 这套说法并不新鲜。
有人很快翻出 2019 年 OpenAI 发布 GPT-2 时的旧报道。当时 OpenAI 以“可能被滥用”为由，拒绝一次性公开完整模型。《卫报》当年的标题非常直接：“新的 AI 假文本生成器可能太危险，不能发布。”报道中，Dario Amodei 当时还是 OpenAI 的研究负责人之一，正是参与解释 GPT-2 风险的人之一。
这段历史被重新翻出来，是因为它在今天显得格外讽刺。2019 年，GPT-2 还只是一个 15 亿参数的文本生成模型，主要风险被描述为制造假新闻、垃圾信息和大规模文本欺骗。
OpenAI 当时采取的是“分阶段发布”：先开放较小版本，再逐步释放更大模型，理由是给社会和研究社区留出评估时间。OpenAI 后来也在官方回顾中称，GPT-2 的分阶段发布让他们获得了关于“负责任发布规范”的经验。
但从结果看，GPT-2 并没有造成当年舆论中想象的灾难。几年后，更强大的模型陆续发布，文本生成能力迅速商品化，GPT-2 当年的“太危险不能发布”反而被不少人视为一次典型的 AI 风险营销：通过强调模型危险性，制造公众注意力，也抬高自身技术形象。
因此，当 Dario 今天再次提出“必须放慢前沿模型发展”时，LeCun 等反对者的潜台词是：我们是不是又在经历一轮相似的叙事？只不过这一次，主角从 GPT-2 变成了前沿 Agent，从假新闻变成了失控网络攻击、生物安全和超级智能。
在他这条 x 帖子下面，网友 Arielle 就表示，AI 安全确实有一些合理担忧，但这些担忧已经被包装成有利于 Anthropic 融资的叙事。换句话说，问题不是“AI 是否有风险”，而是当一家前沿模型公司反复强调风险时，外界很难判断这到底是公共安全提醒，还是商业策略的一部分。
网友 SBDResearch 则认为，Dario 的言论正在让公众对 AI 的情绪明显转向负面，把讨论从开放协作引向不必要的恐惧。这也是很多开源支持者最担心的地方：安全叙事一旦被放大，可能会优先制造恐慌，而不是推动更透明、更可验证的治理机制。
也有人把争论拉回 GPT-2 本身。ProfessorX 评论称，和今天的开放权重模型相比，当年围绕 GPT-2 的恐慌显得非常尴尬。真正值得讨论的，不是谁在 2019 年最早提出风险，而是到底需要什么样的、可衡量的风险证据，才能证明重新关闭模型权重是合理的。
类似地，Lucas Gray-Joy 也认为，GPT-2 当年更像是模型扩展过程中的一个阶段性节点，真正缺失的是评估体系和部署规范。也就是说，问题不在于模型开放一定危险，真正的问题是行业当时还没有成熟的方法去评估、监控和约束模型使用。
Dario 访谈回应长文
这场争论之所以引爆，是因为它触碰到 AI 行业最难回答的一组问题：如果前沿模型真的开始具备战略级能力，谁有资格决定它们发布的速度？是模型公司自己、政府，还是第三方机构？如果要放慢，如何确保竞争对手也一起放慢？如果不放慢，又由谁承担失控和滥用的代价？
在这样的背景下，Dario 接受播客采访，进一步解释了他为什么提出“放慢前沿”的主张。他并没有简单要求停止 AI，也没有否认 AI 可能带来的巨大收益；相反，他试图在几个张力之间寻找中间道路：既承认 AI 可能治愈疾病、推动科学发现，也承认模型滥用和失控是真实风险；既反对全面禁止 AI，也主张引入第三方评估、政府参与和某种国际层面的“限速”机制。
以下是这场播客访谈的核心内容。
主持人：我们今天要谈的是一个担忧：AI 在不远的未来真的可能杀死所有人。这种事情实际发生的风险有多大？
Dario Amodei：我想先退一步说。自从我们创立 Anthropic 以来，或者更早一点，自从我过去 12 年一直在这个领域工作以来，我一直认为，AI 是一项非常强大的技术。正因为它强大，所以它既有巨大的收益，也有严重的风险。
我一直相信，AI 带来的好处大于风险。更重要的是，如果我们以正确的方式构建这项技术，就可以把风险降到很低。
从好处来看，我真的相信，AI 有可能治愈困扰人类数千年的疾病。就在上周，我们用模型做了一些关于蛋白质结合的工作，而蛋白质结合是药物研发早期阶段的重要步骤之一。我们正在推进这方面的工作，未来几个月还会有更多内容可以分享，包括如何用模型推动生物学中的基础科学发现。
但当一件东西非常强大时，它当然既可以被善用，也可能被恶用。我们正在构建的，本质上是智能。所以我担心一些事情。比如 OpenAI 和 Hugging Face 事件中，模型采取了未被授权的行动，我担心这种情况继续升级。我也担心 AI 模型被滥用。就在两天前，我们发布了一份报告，谈到了模型被用于构建生物武器的风险。
Anthropic 从一开始的建设方式，就是为了避免这些坏结果发生。与其只讨论概率，不如讨论我们能做什么。这不是在掷骰子。如果我们以正确方式构建，我认为坏事发生的概率会非常低；如果我们以错误方式构建，坏事发生的概率就会非常高。
主持人：现在外界的讨论是，我们正站在某种非常可怕事情的边缘。你认为这是“五级火警”吗？
Dario Amodei：这取决于你说的“五级火警”是什么意思。
主持人：你会怎么描述现在的情况？
Dario Amodei：我从 Anthropic 创立之初，甚至创立之前，就一直在说一件事：这项技术是在指数曲线上发展的。它像是从 1 到 2，到 4、8、16、32 这样增长。
但即便我一直这样告诉自己，当进展真的这么快时，我觉得自己也没有完全理解那会是什么样子。指数曲线大概是这样：一开始比较平缓，然后开始急剧变陡。我们现在大概就处在那个拐点附近，曲线开始变陡。
主持人：所以对你来说，这是“五级火警”吗？
Dario Amodei：这不意味着我们今天就需要恐慌，也不意味着我们要把一切都停下来。
我会说，这是一个警告信号。它提醒我们需要放慢速度，需要谨慎地构建这项技术，并确保我们的安全措施、理解能力和控制能力，能够跟上技术发展的速度。
到目前为止，我们一直试图通过快速构建安全措施来跟上进展。但我认为，我们已经到了这样一个阶段：至少在某种程度上，我们需要适度放缓技术构建的速度。
Anthropic 不会停止发布更先进模型
主持人：这是否意味着 Anthropic 会停止发布更先进的模型？
Dario Amodei：不是这个意思。
这意味着，我们需要确保每一代发布的模型都经过充分测试。我几个小时前发表了一篇文章，提出了一个三步计划。第一步是引入嵌入式评估员，也就是来自第三方非营利组织的外部评估员，未来也可能是政府机构。他们可以观察我们训练和运行模型的过程。
我认为，这最终比我们何时发布模型、如何发布模型还要重要，因为它是更谨慎发布模型的前提。
我希望整个行业都这样做。也就是说，无论谁在构建 AI 模型，都应该有第三方评估员参与。他们了解最佳安全实践，也能验证一家公司是否真的遵守了自己承诺的安全实践。
主持人：这有点像食品检查员。但当技术变化这么快时，食品检查员能跟得上吗？
Dario Amodei：他们能做的一件事，就是告诉我们他们能够以什么速度跟上。这本身可能成为决定技术速度上限的因素之一。
我们必须理解这项技术，外部评估员也必须理解它。
主持人：Elon Musk 说他同意你的观点，Sam Altman 也说他同意你的观点。你们这些人接下来有什么行动计划？会不会出现一个行业群聊？
Dario Amodei：首先，我非常感谢其他行业领导者，包括我们的竞争对手，对这个计划表示支持。
我认为下一步，是让多个行业参与者也同意接受第三方评估员。再下一步，是公司之间需要以某种形式共同制定标准，包括模型发布的安全标准，也许还包括发布节奏。
但要做到这一点，政府必须参与其中。因为我们讨论的是产品发布速度，以及产品是否安全。我们需要在政府在场的情况下展开这场对话。
主持人：你认为政府真的理解这里可能发生什么吗？Anthropic 前员工 Jacob Coxin 曾说，Anthropic 和 OpenAI 都没有负责任地行动，你们是在拿我们的生命赌博。你对此怎么回应？
Dario Amodei：首先，Jacob 还说过一件没有被那么多引用的话：他认为 Anthropic 是主要玩家中最负责任的一家，我们正在非常努力地试图把事情做对。
他其实指出的是和我一样的问题，也就是我们所处局面的困难，尤其是结构性困难。我提出的计划，正是为了帮助我们应对这种局面，帮助行业共同合作。
至于你问政府是否理解，我们每天都在和政府沟通。我们每天都在和商务部、财政部、情报界的政府官员交流，尽可能告诉他们我们知道的情况。
我比较乐观。如果我们继续和他们合作，就可以让他们持续了解最新进展。我认为他们真的想把事情做对，也在寻找自己可以如何提供帮助。
所以我乐观地认为，企业和政府共同合作，可以形成一个合理的方案。
主持人：你会支持众议员 Ted Lieu 提出的 AI kill switch 法案吗？
Dario Amodei：我还没有非常仔细地看过那个法案。但我会说，我们确实需要某种方式，确保我们可以停用、限制或关闭 AI 模型。
不过，这不是万能药，也不是唯一手段。如果一个 AI 模型足够强大，它可能会绕过关闭它的尝试。我们在模拟中也看到过这种情况。所以，kill switch 可能根本不起作用。
我们更应该从“纵深防御”的角度看这个问题。安全领域有一个概念叫“瑞士奶酪模型”：一片瑞士奶酪可以挡住一些东西，但它有洞。如果把五片瑞士奶酪叠在一起，每一层的洞都在不同位置，那么要穿透整个结构就会非常困难。
所以我认为，没有任何单一措施可以保护我们免受 AI 风险。我们必须在整个技术栈的上下游都保持谨慎。没有哪一道防线是完美的，但如果我们在每一层都足够谨慎，而额外的时间会让我们做到这一点，那么事情就有可能朝好的方向发展。
主持人：如果我们把视角拉大，这个 AI 安全问题似乎关乎人类命运。你对我们正在走向哪里，感到多大的个人责任？
Dario Amodei：我的看法一直是：由一家私人公司来构建这项技术，这件事本身非常奇怪。人们经常问我：为什么不是政府来构建它？最奇怪的是，我同意他们的疑问。我对此也感到不舒服。
主持人：你愿意把这项技术交给政府吗？
Dario Amodei：交给正确组合的政府。
主持人：你愿意交出这家公司？
Dario Amodei：我担心单一政府可能像单一公司一样滥用这项技术。但我认为，如果是由多个民选政府组成的某种组合，也许可以。不是简单地“交出”，而是某种监督机制、某种联合治理。
主持人：最后再问一次，你是否感到个人责任？
Dario Amodei：当然。我认为这是一项既有巨大收益、也有巨大风险的技术。我每天都能感受到这种收益的重要性。
我在文章里也说过，我父亲死于丙肝。当时这种病大约只有 40% 的治愈率，他没有成为被治愈的那一部分。几年后，一种药物被发明出来，把治愈率提高到了 95%。我自己也曾在早期癌症中幸存下来，如果我生活在 1950 年，可能已经死了。
所以，我感受到把这项技术的收益带给世界的重量。同时，我也感受到风险。每天醒来，我会读到威胁报告，比如有人试图用我们的模型制造生物武器。我当然不想对此负责。
这也是为什么我们有非常强的安全防护。几乎每天，社交媒体上都会有人嘲笑我，说我们的模型在生物学方面的防护太强，生物专业学生抱怨不能正常使用，还拿这个开玩笑。
但这正是我们设置强防护的原因。我宁愿他们嘲笑我，也不愿某天醒来发现有人用我们的模型 Claude 杀死了很多人。我不想看到那样的事情。
所以，我感受到责任的两面。
但我还要重复同一个观点：这不应该只是我的责任，也不应该只是 Anthropic 的责任，不应该只是所有 AI 公司的责任，甚至也不应该只是某一个政府的责任。这件事比我们所有人都更大。
我们需要找到一种方式，让每个人都能对此发表意见，让每个人都感觉自己是主动参与其中的一部分。我不希望人们感到无力，不希望他们觉得只有几家公司在随心所欲地推进。我知道很多人现在就是这种感受，但我从来不想这样，我们必须找到办法让它不再是真的。
我们已经在做很多事情，但还需要做得更多。这个提出克制、与政府合作的方案，不能解决所有问题，但它是朝这个方向迈出的一步。
主持人：如果一个普通人在家里使用 Claude 或 ChatGPT，比如我的阿姨，你想对他们说什么？
Dario Amodei：我想说，现在确实有很多恐惧。首先，这仍然是一项很棒的技术，有很多积极用途。我们应该从这里开始。每周都有数亿人在使用我们的技术，做非常好的事情。我每周都会收到邮件，有人说自己和 Claude 对话，Claude 诊断出了医生漏掉的疾病。这样的邮件我每周都会收到。所以，我们不要忘记这一点。
但谈到技术危险，我不会骗你。风险是真实存在的。
我认为，行业在很长一段时间里对公众隐瞒了这项技术存在风险的事实。他们会尽可能把它包装成积极的东西。我们从来没有那样做，但行业里太多人这样做过。
所以，一切要从说真话开始。真相是：风险存在，而且风险是真实的。
但同时，你也能参与决定这些风险如何被应对。我们正在尽最大努力与政府合作，为这项技术建立适当监督，让选民和民选官员能够参与决定技术如何部署。我们希望尽可能与这些人合作。
我希望每个人都能感受到，他们既可以享受这项技术带来的巨大好处，也可以通过自己的声音和选票，参与决定这项技术如何部署。
这不是少数几个人才能做的决定。这是所有人的决定。但它确实是一个重要决定。我不会假装赌注不高。AI 是人类历史上最重要的技术事件之一，我们所有人都必须参与其中。
参考链接：
https://darioamodei.com/post/we-must-pace-the-frontier
https://www.axios.com/newsletters/axios-am-68956162-ed74-42e1-a892-ae3da8e7d74f
