AI 已经开始替人写代码、操作软件、执行复杂任务,但支撑它们的主流大语言模型,仍然在一个 Token 接一个 Token 地生成答案。
扩散语言模型正在尝试另一种路径。它可以并行生成多个 Token,在生成过程中反复调整内容,而不必严格遵循从左到右的顺序。过去,这条路线最大的吸引力是速度;如今,随着 Agent 成为大模型竞争的重点,扩散模型也开始尝试证明自己能够完成更复杂的任务。
前不久,扩散智能(DiffuSpace)开源了 Clover-35B-A3B-Preview(下文简称 Clover),总参数量 350 亿,激活参数约 30 亿。11 月 19 日,团队正式发布技术报告,并同步开放 SFT 代码,进一步披露模型的架构设计、训练方法与评测结果。
技术报告链接:https://arxiv.org/abs/2611.24636
开放代码链接:https://github.com/DiffuSpace/Clover-35B-A3B-Preview/tree/main/sft
在统一评测协议下,Clover 在技术报告所列对比模型中的七项 Agent 指标上均取得最高分,覆盖工具使用、专业工作和智能体编程。其中,SWE-bench Verified 达到 73.6,Terminal-Bench 2.1 达到 51.7。速度方面,在部分测试配置下,Clover 的 Token 生成速度达到同级别自回归模型的 5—10 倍。
但从生成 Token 到完成任务,还涉及工具调用、环境反馈、测试与代码修复等环节。更快的生成能够缩短其中一部分等待时间,而最终能够转化为多少实际生产力,还取决于任务本身和执行流程等多个方面。
“从生成提速到完整任务效率提高,团队还在持续验证。”扩散智能联合创始人、首席科学家龚珊三在接受 InfoQ 专访时坦言。为了让扩散模型能够高效处理长上下文和复杂任务,团队对底层架构进行了较大调整,采用分块扩散来减少重复计算,在当前生成块内实现双向信息交互。在此基础上如何进一步拓展双向建模的范围、发挥扩散模型的全局规划潜力,仍是团队接下来研究的重点。
龚珊三对这条技术路线保持着坚定的信心。她仍然坚持此前的判断:未来一到两年,扩散语言模型有机会在部分具体场景中替代同规模的自回归模型。从 2022 年少数研究者的早期探索,到如今进入 Agent 编程和工具使用的竞争,扩散模型究竟已经跨过了哪些门槛,又有哪些方向值得继续探索?
扩散模型想跑得更快,为什么反而要把文本切成小块?
2022 年,龚珊三开始探索扩散语言模型时,自回归生成已经是大语言模型领域热门技术路线。她参与的 DiffuSeq 是较早将扩散机制用于文本条件生成的研究之一。团队当时就意识到,这种生成方式可能带来更高的并行效率,也有望通过双向信息交互改善推理与全局规划能力。四年后回头看,龚珊三觉得,这条技术路线后来的发展,大部分都超出了最初的预期。
首先是 Scaling。2023 年,团队开始尝试扩大模型规模,但当时几乎没有成熟经验可以借鉴。可以探索的技术路径太多了,究竟哪一种有效、哪一种行不通,只能一个个试。团队最初尝试在连续空间中进行扩散建模,却发现学习复杂度很高,模型很难训练成功;后来转向离散空间,经过多轮实验才逐渐找到可行的路线。
比试错更难熬的,是不知道这条路究竟能不能走通。当时研究扩散语言模型的人很少,既不知道其他人是否也在做类似研究,也不知道这个方向究竟能走多远,这种未知对于研究人员来说本身就是一种挑战。从最初只有几个人探索,到后来形成研究小组,再到如今 Google、Inception、蚂蚁等越来越多团队加入,原本只有少数人探索的冷门方向,逐渐有了更多同行者,这让龚珊三更加确信,扩散语言模型有值得长期投入的发展潜力。
模型规模扩大后,一个问题变得越来越突出:如何让扩散模型在处理长上下文时,仍然保持高效生成?早期方案需要反复处理较大范围的序列,随着上下文增长,重复计算的成本也随之增加。
Clover 选择用分块扩散(Block Diffusion)缓解这一矛盾。模型将生成过程划分为多个 Block,每个块内部仍然通过扩散方式并行生成 Token,而已经完成的内容则可以通过 KV Cache 复用,避免反复计算历史上下文。这样既保留了块内并行生成的优势,也降低了长序列生成的开销。
但分块之后,模型必须同时处理两类信息:此前已经生成的历史内容,以及当前 Block 内需要相互参照的 Token。为此,Clover 对 Gated DeltaNet(GDN)进行了双向改造,形成 BD-GDN。相比主要面向从左到右生成的原有设计,BD-GDN 既要高效保存和读取历史信息,也要支持当前块内部的双向信息交互。
根据扩散智能的技术报告,Clover 采用混合架构,每四层为一组,包括三层 BD-GDN–dMoE 和一层 Full Attention–dMoE,重复十次。在具体实现上,团队将历史状态读取的信息与当前块内部的信息放在同一个 Softmax 中处理,并引入可学习的块大小校准机制;同时增加独立的右侧上下文卷积分支,让模型在处理当前位置时,也能够利用当前块内后续位置的信息。这些改造都是为了兼顾历史信息复用与块内双向建模。


Clover 采用分块扩散,在降低长序列生成开销的同时,利用块内双向信息交互,在 Agent 编程和工具使用等任务中取得了有竞争力的表现。而这还不是扩散模型双向建模能力的全部:当前模型仍按 Block 逐步向后生成,双向生成与修改主要发生在块内。
“真正的全局规划,就是从头到尾的全局规划,现在其实没有完全实现。”在龚珊三看来,尚未充分释放全局建模潜力的 Clover,已经展现出有竞争力的任务表现,也让团队更有信心继续探索。
扩大生成块是其中一个方向。技术报告显示,在完整的 64 条 Agent 历史轨迹前缀回放测试中,Clover 将块大小从 8 增至 16 后,每轮提交的 Token 数与实际吞吐量均有所提高。在此基础上,团队还将进一步研究更大的生成块对推理质量和任务表现的影响。
模型跑得快,Agent 完成任务也能同比提速吗?
对于希望进入实际应用的扩散语言模型来说,生成速度只是第一道门槛。如今,Agent 需要直接读取文件、调用工具、运行程序,并根据执行结果不断调整行动。模型能否完成这些复杂任务,已经和生成效率一样重要。Clover 35B 因此将 Agent 编程和工具使用作为重点方向。
在扩散智能公布的评测中,Clover 35B 在 SWE-bench Verified、Terminal-Bench 2.1 和 τ³ Overall 上分别取得 73.6、51.7 和 65.3 的成绩,在所列同规模自回归模型及其他扩散模型中领先。其中,SWE-bench Verified 包含 500 个经过人工核验的真实 GitHub 软件工程问题,要求模型理解代码仓库并完成修复;Terminal-Bench 2.1 则需要模型在终端环境中实际执行任务。

不过,Agent 的最终表现不仅取决于模型,还受到任务执行框架(Harness)、工具配置和上下文管理等因素影响。Clover 在公开评测中采用了与对照模型相同的 Harness,以尽可能排除执行系统差异带来的影响。但在实际应用中,扩散智能也在开发专门适配扩散模型的 Harness,希望进一步发挥并行生成的优势。
现有 Agent 框架大多围绕自回归模型设计,通常按照“生成内容—调用工具—等待反馈—继续生成”的方式工作。扩散模型一次可以生成多个 Token,为模型生成与工具执行的协同提供了新的空间。例如,对于没有依赖关系的工具调用,系统可以尝试并行执行,而不必完全按照顺序等待。龚珊三认为,通过模型与 Harness 的协同设计,还有机会进一步提升 Agent 的整体执行效率。
部分实际任务已经展现出这种潜力。在一项通过浏览器创建私有项目并邀请成员的测试中,Clover 用 13 个步骤、169.9 秒完成任务,对照的 Qwen3.6 Flash 用了 21 个步骤、392.3 秒。另一组 WindTunnel 测试覆盖 49 项任务,Clover 的执行耗时中位数为 1.52 秒,而 Jev 与 Mercury 2.5 组合为 3.21 秒。除了模型响应速度,任务执行步骤和工具调用过程中的时间开销,也开始成为扩散模型展示效率优势的地方。

但在更复杂的 AI 编程任务中,生成代码只是整个工作流的一部分。模型还需要运行测试、处理报错、修改代码,有时甚至需要多轮尝试。如果一次生成虽然很快,却需要反复修复错误,最终任务耗时未必会同比例缩短。
模型生成 Token 的速度快了几倍,Agent 完成整项任务究竟能快多少?龚珊三认为,这是一个复杂的工程问题。团队尚未对端到端任务耗时进行严格的系统性比较,但按照目前的使用体验,她估计模型速度的提升大致可以以 1:1 的比例转化为任务效率的提升。未来如果让模型生成与 Harness 中的工具调用等环节更好地协同工作,还有机会实现“1+1 大于 2”的效果,这也是团队正在探索的方向。
除了速度,扩散模型在代码和结构化数据生成中的一致性也具有潜在优势。例如,代码中前后引用的变量需要保持一致,JSON 的括号和字段必须符合严格的格式约束。扩散模型能够在一个生成块内部同时利用前后位置的信息,龚珊三认为,这有助于提高生成内容的前后一致性。
不过,Clover 也并非在所有评测中领先。在 Humanity's Last Exam(HLE)等高难度测试中,Clover 的表现相对较弱,部分传统任务成绩也略低于 Qwen。龚珊三将其主要归因于相关训练数据不足。
值得注意的是,扩散模型并不需要一套完全不同的训练数据。团队目前使用的数据与自回归模型基本相同,区别主要在于数据处理和学习方式:训练时随机遮蔽(Mask)部分 Token,再让模型学习恢复这些内容。相同的数据经过不同的处理与学习过程,模型最终掌握的能力也可能有所不同。
AI 为什么开始重新学习“凭直觉做决定”
过去几年,大模型行业不断追求更强的推理能力,试图用更长的思维链、更多测试时计算换取更准确的答案。但最近,另一种思路开始受到关注:AI 是否真的需要每次都思考那么久?
Jev 等决策模型的出现,让行业重新关注类似人类直觉的 System 1 快速决策能力。在龚珊三看来,尽管 Jev 本身存在一些技术争议,但它重新唤起了人们对快速决策价值的重视。对于以并行生成为重要优势的扩散语言模型来说,这同样是一个利好方向。扩散智能也在推出 Clover 时,同步展示了联合决策模型的研究进展,这个场景能够进一步发挥扩散模型在速度和双向信息交互方面的优势。
龚珊三用打羽毛球作比喻:运动员接球时,不会先计算球的轨迹、分析所有可能的动作,再决定如何挥拍。很多判断依靠经验形成的快速反应,在极短时间内完成。AI 进入真实环境后也会遇到类似情况,例如机器人判断道路是否安全、物体能否抓取,或者下一步应该往哪个方向移动。如果每次都要经过漫长的 Thinking 过程,可能根本来不及作出反应。
不过,快速作出单个判断只是第一步。当多个决策之间存在关联,模型能否在保证响应速度的同时,兼顾不同判断之间的约束关系?
扩散智能在官方技术博客中展示了一项合同判断任务:模型需要根据同一份合同,回答通知是否及时、保证金是否应该保留等五个相互关联的问题。这些问题之间存在逻辑约束,例如,只有通知及时才允许保留保证金。如果逐题独立判断,模型就可能一边认定通知已经超时,另一边却认为保证金可以保留,导致结论自相矛盾。扩散智能的联合决策模型则利用双向生成机制,让多个答案在同一次生成过程中相互参照。在这项测试中,联合模式五题全部答对,独立模式答对四题,而 Jev 只答对两题。
类似的联合决策方式也适用于棋类、数独等任务:不同位置的选择相互制约,模型需要同时考虑多个判断之间的约束关系,而不能只关注单步决策是否正确。
更大范围的内部测试也呈现出类似差异。根据最新技术报告,在包含 500 组、共 2,420 道关联问题的验证集中,同一决策模型采用联合预测时,单题准确率为 93.88%,整组全对率为 77.0%;独立逐题预测时,两项成绩分别为 90.37% 和 65.4%。联合预测使整组全对率提高了 11.6 个百分点,支持了这种方式在关联判断任务中的应用价值。

相比需要生成很长文本的 Agent 任务,这类决策通常具有较短、相对固定的输出范围,扩散模型可以利用双向信息交互,在一次生成中统筹考虑多个判断之间的关系。这也与 Clover 当前面临的全局规划限制形成了对照:长序列生成仍然受到 Block Diffusion 的限制,而联合决策模型能够在较短的输出范围内进行完整的双向建模。
快速决策之外,扩散智能也在探索更高效的推理方式,希望进一步发挥扩散架构的并行优势,在提升响应速度的同时保持推理质量。对用户而言,模型内部采用怎样的推理机制并不重要,真正重要的是能否在保证结果质量的同时,更快地完成思考与任务。
对于扩散智能来说,这种探索也开始延伸到具身智能等更广泛的场景。龚珊三透露,团队已经开始尝试机器人部署,并开展相关研究,多模态也将成为下一阶段的重要方向。从 Agent 编程到联合决策,再到需要实时感知和行动的机器人,扩散智能正在寻找扩散生成范式更多的应用空间。
坚持做基础模型公司,但扩散智能还要跨过几道坎
随着 Clover 开始面向 Agent 编程和工具使用,扩散智能也在开发自己的 Agent Harness 和编程客户端。这似乎意味着,一家专注扩散语言模型研究的公司,正在向应用层延伸。但龚珊三的态度很明确:扩散智能仍然是一家基础模型公司。
“纯做产品的公司,其实很容易被基模吞噬。”在她看来,个人助手、编程助手等 AI 产品可以通过交互体验和特定功能形成差异,但随着基础模型能力不断增强,这些功能也可能逐渐被模型厂商吸收。相比直接与成熟的 AI Coding 产品争夺用户,扩散智能更希望把资源投入底层模型。开发 Harness 和客户端,主要是为了适配扩散模型的并行生成特性,展示其不同于自回归模型的使用体验,而非转向 C 端产品竞争。
在基础模型研发中,如何更有效地利用训练算力,同样是重要课题。Clover-35B-A3B-Preview 选择从已有自回归模型出发,复用 Qwen3.6-35B-A3B 在预训练阶段积累的能力,再进行扩散适配。这条路线减少了从零训练的投入,让团队能够更集中力量探索扩散架构与并行生成能力。
这种方式已经大幅降低了训练成本,但扩散模型仍可能需要更多训练轮次。龚珊三认为,以训练阶段的额外投入换取推理阶段更高的效率,是一笔值得考虑的账:模型训练完成后会被反复调用,推理端节省的时间和计算成本可能在长期使用中不断累积。
更现实的挑战是,今天的大模型软硬件生态主要围绕自回归架构发展,现有推理算子、Serving 框架乃至 GPU 的计算能力与显存配置,都未必最适合扩散模型。许多基础设施仍需要团队自己开发和优化。对于一家计划继续扩大模型规模的创业公司来说,算法突破之外,还有大量基础设施工作需要补齐。
这也是扩散智能持续投入开源生态的原因。Clover 已开放模型权重和相关代码,并支持 SGLang、llama.cpp 等推理框架。团队希望吸引更多开发者参与模型部署、算子优化和应用探索,逐渐完善扩散语言模型尚不成熟的工程生态。
尽管面临的挑战不少,龚珊三仍然坚持此前一个颇为大胆的判断:未来一到两年,扩散模型有机会替代自回归模型。不过,她所说的“替代”首先发生在部分具体应用场景,而非短期内全面取代 OpenAI、Anthropic 等公司的前沿模型。后者在模型规模、算力和工程生态上的优势,仍然需要时间追赶。
更现实的机会,可能出现在端侧部署等对速度和成本敏感的场景。扩散智能正在探索 AI PC、车载等应用,与持续调用云端 API 相比,当设备已经具备相应计算能力时,本地部署可以减少长期调用费用,并提供更及时的响应。在技术报告中,团队使用配备 16GB 显存的 RTX 5070 Ti、AMD Ryzen 7 9700X CPU 和 64GB 主机内存,通过 SGLang 与 KTransformers 进行 GPU–CPU 混合专家推理。Clover 的路由专家权重采用 INT4 量化,主要非专家模块保留 BF16。在完整 MATH-500 测试中,优化专家放置后,top-8 验证配置达到 97.52 Tokens/s 的解码吞吐量,人工复核准确率为 97.6%;进一步采用 top-6 验证时,吞吐量提升至 106.25 Tokens/s,准确率为 96.0%。

对于扩散智能而言,这意味着不必一开始就与参数规模最大、算力投入最高的前沿模型正面竞争,而是可以在具体场景中,以同等规模下的能力、速度和成本优势争取替代机会。
2027 年,扩散智能仍计划将绝大部分资源投入基础模型训练,Scaling 和多模态是两个主要方向,Agent 产品与开发者生态则继续围绕模型能力展开。四年前,扩散语言模型还是少数研究者探索的冷门路线;如今,Clover 已经开始在复杂 Agent 任务中与自回归模型竞争。但算法上的突破还需要算力、工程生态与实际应用共同支撑,才能真正形成市场竞争力。
对于扩散模型来说,真正重要的突破,或许不是证明它能够以不同的方式生成 Token,而是让这种不同,最终成为用户愿意选择它的理由。





