安德烈·卡帕西(Andrej Karpathy)是人工智能领域最具影响力的实践者之一。他曾是 OpenAI 的创始成员、特斯拉的 AI 总监,如今以独立研究者的身份持续探索技术的前沿。在人工智能经历颠覆性跃迁的当下,卡帕西对这场变革的感知尤为敏锐。
如果你好奇过去半年里,那些站在技术最前沿的人究竟经历了怎样的转变,这篇访谈将给你一个直观的答案。
近日,Karpathy 做客了一档名为《No Priors》的访谈栏目,在谈话中,他描述了一种自己称之为“AI 精神病”的状态——一种被技术可能性推着走、永远觉得还不够快的焦灼与兴奋,并坦言自己每天都焦虑。他从去年十二月开始几乎不再亲手写一行代码,而是将工作完全委托给智能体;他让名为“多比”的 Claw 接管了家里的所有智能设备;他在深夜里看着自动研究系统跑出自己从未想到的超参数调优。
在这场深度访谈中,Karpathy 围绕大模型演进路径、开源与闭源格局、AI 对就业与社会结构的冲击,以及人类在智能时代的角色,给出了一套极具前瞻性的系统性判断。
他指出,当前大模型仍停留在“通用能力覆盖”的阶段,真正的深度定制与“模型分化”尚未成熟;与此同时,一种基于“可验证结果”的大规模分布式协作范式正在浮现,未来甚至可能由全球算力共同驱动 AI 进化。在他看来,算力(FLOPs)正在成为比资金更关键的资源。
在产业结构上,他强调,当前闭源模型与开源模型之间正在形成一种“动态平衡”——前者探索能力边界,后者实现能力民主化,开源落后 6 个月,反而是 AI 世界最健康的状态。
更具冲击力的是,他对个体角色的重新定义:在前沿实验室内部,你很难保持完全独立;而在外部生态中,反而可能拥有更大的真实影响力。同时,他认为未来教育与知识传播将彻底重构——人类不再直接教人,而是教模型,再由模型去教人。
最终,Karpathy 给出了一个极具现实意义的判断:未来的核心竞争力,不在于你会什么,而在于你做的是不是“AI 还做不到的事”。
以下为完整对话内容,经由 InfoQ 编辑和整理:

“技术发展太快,我每天都焦虑”
主持人:过去几个月,人工智能领域的发展令人无比振奋。记得有一次走进办公室,你正全神贯注地投入工作,我询问你在忙什么,你说必须每天连续十六小时编写代码——或者说,如今“编写代码”这个说法已不再准确,而是要每天花 16 个小时向我的智能体传达指令。这是因为人工智能的能力实现了一次飞跃。具体发生了怎样的变化?还请分享你的亲身体验。
Karpathy:我总觉得自己一直处于——现在也常常如此——一种对人工智能的“精神错乱”状态。因为在个人所能实现的事情上,出现了一次巨大的突破。过去受限于打字速度等因素,而现在有了这些智能体,可以说在去年十二月,某种转折真正发生了:我编写代码的方式,从八成靠自己、两成委托智能体,变成了两成靠自己、八成委托智能体。如今我甚至觉得连二八开都算不上,委托的比例还要高得多。从 12 月至今,我大概一行代码都没有亲手敲过。这是极其巨大的变化。
我曾跟父母聊过这些,但我感觉普通人并没有意识到这种变化已经发生,也不知道它的冲击力有多大。随便找一个坐在工位上的软件工程师,他们构建软件的默认工作流程,从 12 月起已经彻底不同了。我就处在这种“精神错乱”的状态里,不断探索什么是可能的,不断推向极限——我如何能不只运行一个会话的 Claude Code 或 Codex 之类的智能体框架?如何能同时运行更多?如何做得恰当?然后又该如何使用这些 Claw?这些 Claw 是什么?新事物层出不穷。
我想站在最前沿,也正因为觉得自己尚未站在最前沿而焦躁不安。看到推特上很多人做着各种事情,每个想法听起来都很棒,我必须处在最前沿,否则就会极度焦虑。我想,我之所以陷入这种对可能性的“精神错乱”,根本原因在于这一切还是未被探索的领域。
主持人:如果你都感到焦虑,那我们其他人就更不用说了。我们在 Conviction 合作的团队,他们的工作方式很有意思:工程师们完全不再手写代码,每个人都戴着麦克风,全程低声向自己的智能体下达指令。这大概是我见过最奇特的工作场景了。起初我还觉得他们有些疯狂,现在却完全认同——原来这才是未来的方向,而你只是走在了前面。
那么,你现在如何看待自身的探索能力和项目执行能力?当前的瓶颈又在哪里?
Karpathy:瓶颈在哪里?我觉得方方面面都是。就算某件事没做成,很大程度上也会觉得是“技能问题”——并不是能力达不到,而是还没找到串联现有工具的方法。要么是我在智能体的 MD 文件里给出的指令不够好,要么是我没有在系统中配置足够好用的记忆工具。所以在某种程度上,当事情不顺利时,都会归结为技能层面的问题。
你想知道如何让智能体协同工作,本质上你想成为彼得·斯坦伯格(OpenClaw 创始人)那样的人。彼得很有名,他有一张很有意思的照片,面前是一台显示器,上面运行着很多 Codex 智能体,界面铺满屏幕。
如果你给出正确的指令并投入足够的精力,每个智能体大约需要 20 分钟来完成工作。它们会同时检出多个代码仓库,而他就在这些智能体之间来回穿梭,给它们分配任务。这意味着你可以用更大颗粒度的“宏观操作”来推进工作,不再是“这里写一行代码、那里写一个新函数”,而是“这里需要一个新功能,交给智能体一号;那里另一个不会相互干扰的功能,交给智能体二号”,然后根据你对那段代码的重视程度,尽可能去审核它们的工作成果。
你要思考的是:我可以用哪些宏观操作来操控我的软件仓库?一个智能体在做调研,另一个在写代码,还有一个在为某个新功能制定实施方案。所有的工作都通过这些宏观操作在代码仓库上并行推进。你要做的就是变得非常擅长这件事,并形成一种肌肉记忆。这非常有成就感,首先因为它确实能跑通,其次这也是一个全新的学习领域——所以我才会说这是一种“精神错乱”的状态。
主持人:确实,我的本能反应是:每当等待一个智能体完成任务时,最自然的想法就是“我可以同时做更多工作”。如果我能获取更多 token,那就应该并行地增加更多任务。这其实会带来很大的压力,因为一旦你觉得在 token 消耗上毫无限制,那么你自己就成了系统中制约能力上限的瓶颈。
Karpathy:确实。至少从最大化订阅的角度来说,你应该同时运行多个智能体——如果在 Codex 上把额度用完了,就该切换到 Claude 或其他模型,这也是我一直在尝试的做法。
订阅额度还剩着会让我感到不安,那意味着我没有把 token 吞吐量发挥到极致。这种感受在读博期间其实就有过:当 GPU 闲置时你会焦虑,明明有算力却没有充分利用可用的 FLOPs。只不过现在关注的焦点不再是 FLOPs,而是 tokens。所以问题来了:你的 token 吞吐量是多少?你又能调动多大的 token 吞吐量?
主持人:这个观察很有意思。过去至少十年里,在多数工程任务中,人们并不觉得自己受计算资源制约。而如今整个行业都明显感受到了资源紧张。当能力出现巨大跃升后,你才发现,真正的制约因素其实已经不是能否获取算力,而是你自己。
Karpathy:这种“技能问题”其实很令人振奋,因为它意味着你有提升的空间。这正是它容易让人上瘾的原因——每一次能力的精进,都会带来新的突破与可能性。
主持人:你觉得未来会怎样?如果不断迭代,每天花十六小时提升使用编码智能体的技能,那么一年后达到精通状态时会是什么样子?如果从时间维度来看,比如一年、三年、五年甚至十年,所谓“掌握(mastery)”或者精通会是什么样子?
Karpathy:我认为大家本质上都在“向上抽象层级”(going up the stack)。这不再是围绕单次与某个智能体的交互,而是多个智能体之间如何协作、形成团队,以及整体系统如何运作。整个行业都在探索这种形态。
此外,“Claw”是一个很有意思的方向。这里的 Claw 指的是一种新的系统层,它把“持久性”(persistence)提升到了一个全新的层级。它会持续循环运行,并不依赖用户实时交互,而是在一个相对独立的环境中自主运行,在你不关注的时候也在替你完成任务。
同时,它还涉及更复杂的记忆系统,这些能力目前在大多数智能体中尚未实现。相比之下,OpenClaw 的记忆能力要更先进,而传统系统通常只是简单的“上下文耗尽后的压缩记忆”。
OpenClaw 的成功之处在于它有“人格”
主持人:你认为在 OpenClaw 中,真正打动用户的是记忆能力,而不是更广泛的工具调用能力吗?
Karpathy:我认为这里面有很多优秀的设计。Peter 的工作非常出色,他在多个维度上同时创新,并把这些要素整合在一起。
例如,他在系统文档中刻意塑造了一种“人格”,这一点非常关键。当前很多智能体在这方面做得并不好。而 Claw 的人格设计是成功的,它更像一个团队成员,会与你产生共鸣、共同推进事情。
相比之下,例如 Codex 这种编码智能体显得非常“干”。它完成任务,但并不关心你在构建什么。它更像是在执行指令,而不是理解目标。
另外,Claw 在反馈机制上也做了精细调节。当我提出不成熟的想法时,它不会过度赞美;但当想法确实有价值时,它会给予更多认可。这种差异让我产生一种“需要赢得它认可”的感觉,这很微妙,但非常有效。
因此,我认为“人格”非常重要,而很多工具低估了这一点。除此之外,还有记忆系统,以及通过 WhatsApp 统一入口控制所有自动化能力,这些都是关键创新。
主持人:除了软件工程,你是否用 Claw 做过一些有趣的事情?
Karpathy:有的。今年一月,我经历了一段“Claw 过度使用期”。我构建了一个用于管理家庭的 Claw,并给它起名为 “Dobby”。
我让智能体扫描家庭局域网中的所有智能设备,比如 Sonos 音响系统。它通过 IP 扫描自动发现设备,并解析其接口。令人惊讶的是,这一过程几乎无需配置,系统甚至自动找到了 API 并开始调用。
例如,我只输入一句“帮我找到 Sonos”,系统就完成了扫描、接口解析,并成功播放音乐。同样的方法也适用于灯光控制。
最终,这个系统构建了一个完整的家庭控制中心:包括灯光、空调、窗帘、泳池、安防系统等。比如我只需说“该睡觉了”,系统就会自动关闭所有灯光。
在安防方面,我部署了一个视觉模型来监控门外摄像头。当检测到变化时,它会识别场景,并通过 WhatsApp 给我发送通知,例如“有一辆 FedEx 货车到了”。
现在,我通过 WhatsApp 与这个系统交互,它已经成为家庭自动化的核心。
主持人:这种体验是否代表了用户真正想要的软件交互方式?
Karpathy:在一定程度上是的。传统软件的问题在于,用户需要学习各种界面和操作逻辑,这本身是有成本的。
人们心中的“AI”其实是一种具有人格、能够记忆和理解的实体,而不是一个简单的语言模型。从技术角度看,LLM 只是一个“token 生成器”,但用户期望的是一个可以对话、记住信息并执行任务的“角色”。
因此,未来的方向是让系统行为更符合用户直觉,而底层复杂性则由系统隐藏。
主持人:你将多个智能家居系统统一起来,这是否意味着用户其实并不需要那么多独立的软件?
Karpathy:确实如此。从某种意义上说,这些应用甚至不应该存在。更合理的形态是:所有设备只提供 API,由智能体直接调用。
通过这种方式,智能体可以完成跨系统的复杂操作,而单一应用是无法做到的。这意味着当前存在大量“过度设计”的应用,它们可能会被智能体取代。
未来的结构更可能是:底层是 API,上层是智能体作为“智能胶水”,负责调用和组合这些能力 这类似于“Agent-first”的互联网架构。
主持人:但这是否意味着普通用户也需要具备编程能力?
Karpathy:短期来看,确实需要一定技术能力。目前仍然存在“vibe coding”这样的过程,需要用户参与。
但我认为在未来一到三年内,这些能力会变成基础设施(table stakes)。即使是开源模型,也能够轻松完成这些任务。
最终,系统会自动将用户的自然语言意图转化为具体执行逻辑,用户无需参与实现过程。
主持人:为什么你个人没有进一步拓展 Claw 的应用边界?为什么你没有把 Claw 更深入地接入到邮箱、日历等个人系统中?
Karpathy:主要原因是精力分散。我曾集中花了一周时间在这上面,已经实现了很多功能,但还有很多可以继续探索。不过现实情况是,我同时在处理很多其他项目,因此没有持续深入推进。
我目前并没有让它接入邮箱、日历等核心系统,也没有授予完整的数字生活权限。主要原因是,这项技术仍然比较新,整体还不够成熟。
我对安全性和隐私问题仍然保持谨慎态度,因此在权限开放上有所保留。这在一定程度上限制了我进一步扩展它的使用范围。
人不应该成为系统的瓶颈
主持人:你之前提到,希望智能体能够承担模型训练或优化这样的任务。那么你做“Auto Research”的初衷是什么?
Karpathy:核心动机是:人不应该成为系统的瓶颈。要充分利用当前这些工具,就必须把自己从执行链路中移除,而不是每一步都依赖人工提示。目标是构建完全自主运行的系统,让任务可以持续推进,而无需人工干预。
换句话说,就是最大化“token 吞吐量”,同时尽可能减少人类参与。理想状态是:我只需偶尔提供极少量输入,系统就能在后台完成大量工作。
“Auto Research”正是这一思路的体现。我不希望自己成为研究过程中的一环,而是希望设定好目标、评价指标和边界条件,然后让系统自行运行。
主持人:Auto Research 的效果是否超出了你的预期?
Karpathy:确实如此。我最初并不认为它会有效。
我一直在做 GPT 模型训练,这对我来说更像是一个实验平台,用来探索更核心的问题:递归自我改进(recursive self-improvement)——也就是让模型优化模型。
我用传统方法对模型进行了大量调优,包括超参数搜索等,这些是我过去二十年一直在做的事情。我认为模型已经被调到一个相对不错的状态。
但当我让 Auto Research 运行一夜后,它发现了一些我忽略的优化点,例如权重衰减参数和优化器参数之间的联动关系。这些调整带来了改进。
这说明,人类不应该成为调参过程的瓶颈。只要有明确的目标函数,系统完全可以自行探索。
主持人:这是否意味着未来的研究过程会更加高效?
Karpathy:是的。一个重要方向是:在小模型上进行大量自动化实验,然后将结果外推到更大规模模型。
当前很多前沿实验室本质上也在做类似的事情:尽可能移除研究人员参与、构建自动化实验系统以及提高实验吞吐量。
理想结构是:有一个“想法队列”(ideas queue),想法可以来自模型或人类,自动化执行单元负责实验验证,有效结果被合并进主分支,这本质上是将科研流程工程化、自动化。
主持人:你提到“program.md”,模型什么时候能写出比你更好的版本?
Karpathy: “program.md”本质上是我用来描述 Auto Research 工作流程的一个文档,相当于一个研究组织的操作手册。
可以把一个研究机构抽象为一组 Markdown 文件:定义角色、描述流程和指定协作方式。 不同的“program.md”就代表不同的研究组织结构。例如有的更激进、有的更保守、有的减少无效会议,一旦这些结构被形式化为代码,就可以进行优化。
未来完全可以同时运行多个“研究组织” ,然后比较它们的效果,用数据反过来训练模型生成更优的“program.md”,这就是一个元优化(meta-optimization)过程。
主持人:在当前阶段,这种自动化循环对“技能”的要求意味着什么?
Karpathy:这种方法非常适用于可验证、有明确评价指标的任务。例如:
CUDA 内核优化
提高代码执行效率
这些任务有清晰的“对/错”和性能指标,非常适合自动化研究。但对于难以评估的任务,这种方法效果有限。这是第一个限制。第二个问题是:当前模型仍然不够稳定。虽然能力很强,但“边缘行为”很多。一个典型感受是:它既像一个顶级系统程序员,又像一个 10 岁的孩子。这种“能力不均匀”(jaggedness)非常明显。例如在复杂任务中表现极强,但有时会犯非常基础的错误,甚至在错误路径上反复循环,浪费算力 。
主持人:这种“不均匀能力”说明模型还不具备真正的通用智能吗?
Karpathy:可以这么理解。当前模型在“可验证任务”上进步很快,因为这些任务可以通过强化学习优化。但在“模糊任务”上,比如理解意图、提出澄清问题,表现仍然较弱。
一个典型例子是讲笑话:尽管模型整体能力大幅提升,但笑话质量几乎没有变化。这说明这些能力没有被优化,这意味着:不同能力之间并没有完全联动提升。
主持人:这是否意味着未来模型需要“分化”(speciation)?
Karpathy:是的,我认为未来会出现更多“智能分化”。当前趋势是构建一个“通用大模型”,试图在所有领域都表现优秀。但更合理的方向可能是:保留一个通用认知核心,在此基础上发展专用模型
类似生物进化,不同物种在不同能力上高度专化。例如会有数学模型、编程模型、特定领域推理模型 这种分化可以带来更高的效率,例如更低延迟、更高吞吐。
主持人:算力限制是否会推动这种“分化”发生?
Karpathy:这是一个合理的推测。如果算力无限,单一大模型可以覆盖所有场景。但现实中算力是有限的,因此需要更高效的结构。不过,目前行业仍然倾向于“单一模型”的路线,尚未出现明显的分化趋势。未来是否会因为算力压力而加速分化,仍有待观察。
如何改造模型,仍是一道难题
主持人:为什么当前还没有出现明显的“模型分化”?是技术问题还是商业策略问题?
Karpathy:从根本上看,目前的实验室是在提供一个通用模型,但他们并不知道最终用户会提出什么具体问题。因此,这些模型必须覆盖尽可能广泛的任务范围,本质上是在做“全场景多任务”。
如果是在企业场景中,围绕特定问题进行深度合作,或者在一些高价值、垂直领域中,可能会更早看到模型的专门化。但目前整体策略仍然是覆盖“尽可能多的能力边界”。
此外,一个重要原因是:我们对“如何改造模型本身”的技术还不够成熟。比如,如何在不损失已有能力的前提下进行微调,这仍然是一个挑战。
现在的主要手段还是通过上下文窗口来进行调整,这种方式简单、成本低,也确实有效。但如果要真正“深入修改模型”,比如持续学习、针对特定能力优化、直接调整模型权重,这在技术上更复杂,也更有风险,因为这会影响整个模型的能力结构。
因此,从这个角度来看,“模型分化”本身还是一个尚未完全成熟的技术方向,同时也需要在成本上足够可行,才能真正落地。
未来即使有钱,也难获得足够算力
主持人:你提到 Auto Research,如果进一步扩展,它是否需要更多“协作界面”,让更多人参与进来?
Karpathy:是的。当前的 Auto Research 本质上还是一个“单线程循环”,即系统不断尝试和优化。但更有价值的方向其实是“并行化”。
如果有大量计算节点,那么很容易让多个 Auto Research 系统同时运行,并通过某种共享机制协作。但我更感兴趣的是:如何让一个“不可信的外部计算资源池”参与进来。
以 Auto Research 为例,其目标是找到能够让模型达到更低验证损失的代码。如果有人提交一个候选方案,其实是可以很容易验证其效果的。虽然生成这个方案可能需要大量计算,但验证成本相对较低。
这就带来一个结构:生成候选方案的成本很高,验证方案的成本很低。
这种结构和区块链有些类似:“提交”类似区块中的变更(commit),进行大量计算用于探索有效方案(类似工作量证明),最终有效结果可以被验证并累积。
当然,这个类比不需要过度延伸,但核心问题在于:如何设计一个系统,让不可信的参与者与可信的验证系统协作,同时保证安全性。
主持人:这种模式是否类似于 SETI@home 或 Folding@home?
注:SETI@home 是由加州大学伯克利分校发起的,通过互联网将射电望远镜数据分发给志愿者电脑分析,目的是寻找地外文明的无线电信号。
Folding@home,有个来自宾夕法尼亚大学医学院的页面介绍了项目的现任负责人 Gregory Bowman 博士,以及项目如何通过模拟蛋白质折叠来研究阿尔茨海默症、癌症等疾病。
Karpathy:是的,本质非常类似。例如蛋白质折叠问题,找到低能量结构非常困难,但一旦找到,验证却很容易。Auto Research 也具备类似特征。因此,这类问题非常适合分布式协作。
从这个角度来看,可以设想一种“互联网规模的智能体群体”,它们协同优化模型,甚至可能在某些情况下超过大型实验室的效率。
大型实验室拥有大量“可信算力”,但整个世界拥有更庞大的“不可信算力”。如果系统设计得当,这些资源是可以被整合利用的。
主持人:这是否意味着未来算力本身会成为一种“可贡献资源”,类似今天的金钱?
Karpathy:这是一个有趣的方向。未来,个人或企业可能不只是捐钱,而是直接贡献算力。例如,你可以为某个研究项目提供计算资源,参与其 Auto Research 过程。
在这种模式下,“算力”会成为核心资源。甚至可以设想一种变化:人们关注的不再只是金钱,而是“你掌握多少 FLOPs(算力)”。
当然,这未必会完全取代金钱,但当前已经可以看到一个趋势:即使有资金,也很难获得足够的算力资源。这说明算力在某种程度上已经成为更稀缺的资源。
AI 对就业市场的影响
主持人:你最近分析了一些就业市场数据,当时你的关注点是什么?
Karpathy:我主要是想了解 AI 对就业市场会产生什么影响。
我查看了不同职业的分布,以及未来的增长预期,并尝试思考:随着 AI 的发展,这些职业会如何变化。例如哪些职业会被增强、哪些可能被替代以及是否会出现新的职业形态
这些分析更多是为了帮助我构建对行业未来的理解。
主持人:你从数据中有没有得到一些关键观察?
Karpathy:一个重要观察是:AI 当前主要作用于“数字世界”。这些系统更像是可以操作信息的“数字实体”,它们擅长处理文本、代码等数字内容,但还没有真正进入物理世界。
相比之下,物理世界的变化会更慢,因为涉及的是“原子操作”,而不是“比特操作”。数字信息可以复制、传播,速度极快,而物理过程受到能量和材料限制。
因此,未来一段时间内,数字领域会出现大量重构,包括信息处理流程、软件系统结构以及工作方式,而物理世界的变化则相对滞后。
主持人:这对求职者或学习方向有什么启示?
Karpathy:目前很难给出统一答案,因为就业市场非常复杂。
但有一点是明确的:这些工具非常新且非常强大,因此首先要做的是尽量理解并跟上它们的发展。很多人对 AI 持怀疑或恐惧态度,这可以理解。但从当前来看,它仍然主要是一种“增强工具”。
职业本质上是由一系列任务构成的,而 AI 可以显著提升其中一部分任务的效率。因此,更合理的视角是:把它当作工具来使用。至于长期影响,目前仍然存在较大不确定性,这更适合由经济学领域来系统分析。
主持人:目前工程师需求仍在增长,这是否只是暂时现象?你对软件工程未来的需求持什么看法?
Karpathy:有一种可能是“杰文斯悖论”(Jevons Paradox)在起作用。当某种资源变得更便宜时,其使用量反而会增加。软件开发也是如此:过去软件昂贵且稀缺,如果开发成本降低,需求反而会增长。
一个经典例子是 ATM:自动取款机降低了银行运营成本,结果银行网点增加,柜员数量反而上升。类似地,如果软件开发变得更容易、更便宜,那么社会对软件的需求可能会大幅增长。
所以我对软件工程未来的需求相对持谨慎乐观态度。软件本质上是对数字信息的处理能力,而这种能力非常强大。随着开发门槛降低,更多人可以构建和修改软件系统。
未来的软件将更加“临时化”(ephemeral):可以快速生成、可以随时修改、不再依赖固定工具。这会带来大量系统重构需求,从而推动软件领域的活跃度和需求增长。
主持人:但从长期来看,自动化是否会取代研究人员本身?
Karpathy:这是一个不可回避的问题。事实上,很多研究人员正在构建的正是“自动替代自身”的系统。他们的目标是实现研究自动化。
这带来一种矛盾感: 一方面,这些系统确实有效;另一方面,它们也在削弱人的角色。我和一些研究人员交流时,他们也能感受到这种趋势,甚至会产生某种不安。
OpenAI 这类前沿实验室,存在结构性困局
主持人:既然如此,为什么不直接加入这些前沿实验室推进这一进程?
Karpathy:这是一个复杂的问题。我确实曾在相关机构工作过,也认同其中的一些方向。但我认为,在前沿实验室之外,同样存在重要的贡献空间。不仅是在产业层面,也包括更广泛的生态层面。不同角色都可以对这一技术进程产生影响。
主持人:你现在的角色更偏“生态位层面”,这种位置的价值体现在哪里?
Karpathy:是的,我现在的角色更偏向于生态层面,你也是类似的情况。我认为在这种位置上,人其实可以产生非常好的影响力。
相对来说,如果你过度绑定在前沿实验室内部,反而会出现一些问题。因为这些实验室本身具有强烈的经济激励,而与此同时,它们正在构建的技术又可能对人类社会产生极其深远的影响。在这种情况下,你既在推动技术发展,又从中获益,这本身就是一个结构性困境。
这其实也是 OpenAI 在早期试图解决的核心问题之一,但到现在为止,这个问题并没有被完全解决。
主持人:具体来说,在前沿实验室内部会面临哪些限制?
Karpathy:首先,你不再是一个完全独立的个体。你无法完全自由地参与公共讨论,因为在组织内部,总会存在一些你不能说的话。同时,也会存在一些你“应该说”的话。
虽然没有人会直接强迫你,但你会感受到一种隐性的压力:你需要与组织的立场保持一致,否则就会出现尴尬的氛围,比如异样的目光、微妙的关系变化等等。
因此,从这个角度来看,在实验室之外,我反而感觉更接近“为整个人类发声”的位置,因为我不需要承受这些组织内部的约束。
主持人:但在实验室内部,你也能参与关键决策,这是否是一种优势?
Karpathy:确实如此。在实验室内部,你可以参与重要讨论,也可能有机会在关键决策中发声。如果你的想法足够好,你可能会产生实际影响。
但需要注意的是,当前阶段整体“风险还不算特别高”,所以很多事情看起来比较宽松。但一旦未来风险真正提高,一个普通员工在组织中的实际影响力其实是有限的。
你可以参与讨论,但你并不真正掌控这个组织。因此,从结构上来看,这里仍然存在一定程度的“错配”。
主持人:那在实验室外部是否也存在劣势?
Karpathy:有的。前沿实验室本身是高度不透明的,而且它们处在能力边界的最前沿,掌握着未来发展方向。如果你长期在外部,你的判断很可能会逐渐“漂移”,因为你无法接触到最前沿的信息,也不了解这些系统的真实内部机制。
这也是我自己会担心的一个问题:随着时间推移,我可能会逐渐失去对技术发展方向的准确感知。
主持人:有没有一种折中的方式?
Karpathy:我认为一种比较理想的方式是“在内外之间切换”。例如,你可以在某个时间段进入前沿实验室,参与核心工作,保持对前沿的理解;然后再回到外部,从更独立的视角思考问题。
这种方式既能保持对现实的连接,又不会完全受制于组织。从这个角度来看,我认为无论是在实验室内部还是外部,都可以产生很大的影响,关键在于如何平衡。
闭源模型仍然领先
主持人:开源模型与闭源模型之间的差距,目前是什么状态?
Karpathy:大体来看,闭源模型仍然领先,但人们通常用“时间差”来衡量差距。最早开源几乎没有能力,后来落后大约 18 个月,现在已经收敛到大约 6 到 8 个月左右。
我是非常支持开源的。从历史来看,比如操作系统领域:有 Windows 和 macOS 这样的闭源系统也有 Linux 这样的开源系统。Linux 实际上非常成功,占据了大量计算资源,因为行业始终需要一个“开放、可控”的基础平台。我认为在 AI 领域也存在类似需求。
主持人:那为什么开源仍然难以追赶?
Karpathy:最大的差异在于资本投入。训练先进模型需要巨额算力和资金,这使得开源在某些方面更难竞争。不过,当前开源模型已经足够好,可以覆盖大量日常使用场景,甚至未来很多任务可以在本地运行。但与此同时,对“前沿智能”的需求仍然存在,比如解决重大科研问题,这类需求可能仍然集中在闭源系统中。
主持人:未来会形成什么样的格局?
Karpathy:我预计会形成一种长期结构:前沿实验室提供最强、最先进的闭源模型,开源模型以一定时间延迟跟进。而且今天的前沿能力,很可能在不久后就会成为开源能力。
我认为这种结构其实是健康的。因为如果所有智能系统都完全闭源,会带来系统性风险。历史上,无论是政治还是经济系统,过度集中化通常都不是一个好的结果。因此,我们需要一个“稍微落后但开放”的公共平台,让整个行业都可以使用。
主持人:你怎么看当前行业的集中化趋势?
Karpathy:我对集中化本能上是警惕的。我希望有更多实验室参与竞争,而不是少数几家主导一切。就像机器学习中的集成方法(ensemble)通常优于单一模型一样,我也希望在关键决策中有更多不同视角参与。如果未来的关键决策只在少数人之间完成,那不是一个理想的状态。
机器人的发展落后于数字世界
主持人:关于机器人和自动化,你怎么看近期的发展?
Karpathy:我的看法很大程度上来自自动驾驶领域的经验。自动驾驶其实可以看作是第一个大规模机器人应用。十年前有大量创业公司进入这个领域,但最终能存活下来的不多,因为这个问题极其复杂,需要巨额资本投入和长期坚持。因此,我认为机器人领域的发展仍然会落后于数字世界。
主持人:为什么数字世界发展更快?
Karpathy:因为数字世界处理的是“比特”,而物理世界处理的是“原子”。
比特可以复制、传播,成本极低;而原子操作涉及能量、材料、时间等限制。因此,数字世界的效率提升空间要大得多。未来一段时间,我们会看到数字领域发生巨大的效率提升,而物理世界的变化会相对滞后。
主持人:那未来的发展路径会是什么?
Karpathy:我认为会分三个阶段:第一阶段是数字世界的大规模优化和重构;第二阶段是数字与物理之间的接口,例如传感器和执行器;第三阶段才是大规模物理世界自动化。
随着智能体越来越多,它们会逐渐“用完”已有的数字信息,然后必须通过实验和感知来获取新的信息,这就会推动它们进入物理世界。
主持人:你提到“信息市场”,这具体指什么?
Karpathy:我认为未来会出现更多“按需获取信息”的市场。例如,如果某个事件正在发生,理论上应该有人愿意付费获取现场数据(图片、视频等),而这些数据可能直接被智能体使用,而不是给人类看。
目前我们还没有成熟的机制来实现这一点,但在“智能体互联网”(agentic web)中,这种模式是很自然的。在这种结构下,人类既是“传感器”(提供数据),也是“执行器”(完成任务),整个社会结构可能会围绕智能系统重新组织。
主持人:最后,谈谈你的项目 MicroGPT,它的核心价值是什么?
Karpathy:MicroGPT 是我长期以来一个核心追求:把大模型的本质压缩到最简单的形式。完整训练一个语言模型通常需要大量复杂代码,但这些复杂性主要来自“效率优化”。如果不追求速度,核心算法其实可以用大约 200 行 Python 实现。
它揭示了模型的“本质结构”。
主持人:这对教育意味着什么变化?
Karpathy:我认为教育正在发生根本变化。
过去我们是直接向人解释知识,比如写文档、做讲解。但现在更有效的方式是“让模型理解”,然后由模型去向人解释。也就是说,知识传播正在从“人 → 人”,转变为“人 → 模型 → 人”。
未来的“教学”可能更像是在设计一套“教学流程(skill)”,让模型知道如何引导学习者。
主持人:那人类的价值在哪里?
Karpathy:人类的价值在于做那些“模型还做不到的事情”。例如,MicroGPT 的设计本身,就是我长期思考的结果,这部分目前模型还无法自主完成。但一旦结果存在,模型可以很好地理解并传播它。因此,一个很实用的原则是模型已经能做的事情,不要重复做,把精力集中在模型尚不能完成的部分 这将成为未来工作的一个重要策略。
参考链接:
https://www.youtube.com/watch?v=kwSVtQ7dziU&list=PLMKa0PxGwad7jf8hwwX8w5FHitXZ1L_h1&index=1&t=171s





