生成式奖励模型（GRM）通过思维链（CoT）显著提升了奖励信号的质量，但其“一刀切”的推理策略让简单样本和复杂样本消耗同等计算资源，导致显著的算力浪费。腾讯混元与新南威尔士大学联合提出的 E-GRM（Efficient Generative Reward Modeling）框架，将模型自身的不确定性重新定义为计算资源的调度信号，仅对真正困难的样本投入完整 CoT 推理，对其余样本走短路径直接输出。本文从问题背景、动态路由机制、判别式评分器到训练与实验四个维度对该框架进行系统解读。
论文题目：Reason Only When Needed: Efficient Generative Reward Modeling via Model-Internal Uncertainty
收录会议：ACL 2026
arXiv 链接：https://arxiv.org/abs/2604.10072
问题背景与动机
1.1 静态推理：GRM 绕不开的效率瓶颈
奖励模型是 RLHF 流程的核心组件，为策略模型的候选响应提供质量信号。从标量奖励模型到生成式奖励模型（GRM），推理链的引入显著提升了奖励信号的可解释性与判别能力，但也带来了固有的效率问题：
1. 资源同质化：无论是“这句话是否安全”的简单判断，还是“证明这道数学题”的复杂推理，GRM 都执行相同深度的 CoT 生成，简单样本被迫消耗与复杂样本相同的 FLOPs。
2. 投票机制信息损失：传统 GRM 从 K 条推理链中通过多数投票决定答案，这种离散决策无法区分“推理过程正确”与“”恰好蒙对答案“”，奖励信号噪声较大。
1.2 E-GRM 的核心洞察：把不确定性变成调度信号
E-GRM 的核心观察是：模型的解码行为隐含着问题复杂度的信息。对同一输入多次解码，若输出高度一致，说明模型已有充分把握，再追加 CoT 只是冗余计算；若输出高度分散，则说明问题超出了模型的“直觉”，需要深度思考。基于这一观察，E-GRM 将不确定性从传统意义上“需要规避的风险信号”重新定义为“可被利用的计算资源调度信号”，构建了先快速判断、再按需投入的智能路由框架。
E-GRM 方法论：动态路由视角
2.1 共识度：路由决策的核心指标
给定输入 ，E-GRM 首先执行 次并行解码（，使用不同采样温度与 top-p 参数），得到初始响应集合 。共识度定义为：
其中 Count（y） 是答案 y 出现的次数。共识度值域 【1/M,1】，1.0 表示所有解码完全一致，接近 0 表示高度发散。这一指标具备三个优良性质：取值有界、计算成本极低（仅多解码 4 次）、且与问题难度呈强单调关系。
2.2 动态路由：基于阈值的二元决策
基于共识度，E-GRM 执行二元路由决策：
• 短路径：直接输出共识答案 ，完全跳过 CoT 生成，计算成本仅为完整流程的 15-20%。
• 长路径：触发 K 条 CoT 链生成、判别式评分、最优选择的完整推理流程。
阈值 τ=0.8 经过网格搜索确定，在 MATH 数据集上恰好对应准确率陡降点之前，实现效率与精度的帕累托最优。
2.3 并行解码的工程实现
为压低路由决策本身的开销，E-GRM 将 5 次解码组织在同一 GPU 批次内并行执行，借助张量核心的并行能力将额外延迟控制在 5%以内；同时通过差异化采样参数（温度{0.7, 0.8, 0.9, 1.0, 1.1}）保证多样性，避免参数同质化造成的“伪共识”。
2.4 判别式评分器：替代投票的连续质量信号
进入长路径后，E-GRM 生成 K 条候选推理链，使用判别式评分器 SΦ 替代传统投票机制，输出连续分数 q=SΦ（x，r）∈（0，1）。评分器基于 BERT 编码器，将提示和推理链通过 [SEP] 拼接后编码，从 [CLS] 位置经线性层映射到分数，参数量约 1 亿。
评分器采用混合损失训练：
Huber 损失在小偏差时二次惩罚、大偏差时线性惩罚，兼具精细调优与抗噪声能力；铰链损失仅在正负样本分差不足时产生梯度，自动聚焦难例。 优先保证回归精度。
2.5 Huber 损失的数学形式
Huber 损失分段函数定义为：
当预测误差小于阈值 δ=0.1 时使用 L2 损失提供精细梯度；超过阈值时切换为 L1 损失，防止异常标签产生过大梯度，保障训练稳定性。
2.6 两阶段训练体系
SFT 阶段：根据动态触发将训练集划分为短路径集（学习 L=-logPΘ（y|x） ）和长路径集（学习 L=-logPΘ（r，y|x） ），让模型同时具备“”快答“”与“”慢思考“”能力。
扩展 GRPO 阶段：在标准 GRPO 基础上引入成对对比奖励：
优化目标：
其中 β=0.3 平衡离散答案正确性与连续推理质量。
图 1：E-GRM 的完整框架，涵盖从动态不确定性的量化到判别式评分器的整体流程。
图 2：Coupled-GRPO 的成对偏好奖励机制，使用评分器差值作为质量对比信号。
图 3：E-GRM 训练与推理完整流程。
实验评估
3.1 核心效率指标
在 MATH 数据集上，E-GRM 的路由分布与传统 GRM 形成鲜明对比：58%的样本进入短路径直接输出；延迟从 3.8 秒降至 2.2 秒（-62%）；FLOPs 从 23.7T 降至 15.7T（-49%）；准确率从 75.1%提升至 78.4%（+3.3%），呈现“”既快又准“”的双赢效果。
3.2 基准测试表现
3.3 消融实验
消融实验揭示出一个关键发现：完整框架的增益（9.3%）大于单独移除动态触发（-3.2%）和评分器（-5.6%）的损失之和（8.8%），说明二者存在正向协同效应。其机制是：动态触发筛选出真正需要评估的复杂样本，使评分器能聚焦最有判别价值的对象。
3.4 路由质量与规模扩展
短路径样本人工抽样准确率达 94.3%，证明高共识度确实对应简单样本；长路径样本相比传统 GRM 提升约 2.3%，证明评分器有效。从 7B 到 32B，E-GRM 呈现一致的性能提升（RM-Bench: 70.1%→76.4%→79.2%），且长路径样本的精度提升（约 12%）显著大于短路径（约 5%），说明大模型优势集中在复杂推理上。
3.5 完整推理管道
推理阶段流程：
(1) 对输入 x 执行 M 次并行解码；
(2) 计算共识度并做出路由决策；
(3) 短路径直接输出共识答案；
(4) 长路径生成 K 条 CoT；
(5) 评分器对每条链打分；
(6) 选择最高分输出。
贡献与局限
4.1 核心贡献
1. 首次将模型内部不确定性从“风险信号”拓展为“计算资源调度信号”，开创了按需推理的新范式。
2. 混合损失评分器在校准性与区分度之间取得最优平衡，连续质量信号替代离散投票。
3. 统一的动态触发+评分+优化框架，对模型规模与任务类型保持稳定增益。
4.2 局限与展望
1. 并行解码引入约 5%固定延迟，在极低延迟场景仍需进一步优化。
2. 固定阈值 在专业领域可能需要自适应校准。
3. 评分器在分布外推理风格上的泛化性有待验证。
结 语
E-GRM 通过“共识度”这一简洁信号，实现了延迟降低 62%的同时精度提升 3.3%，验证了“减少不必要的推理”这一效率优化思路的有效性。动态路由机制让奖励模型第一次真正实现了“智能分配算力”，为大模型的高效部署提供了可复用的方法论模板，有望在 RLHF 推理系统中产生持续影响。
延伸思考
6.1 动态路由的范式转换意义
E-GRM 将“动态计算分配”这一在视觉领域（如 Mixture-of-Experts、Conditional Computation）已经成熟的思想，首次系统化地引入到奖励建模领域。这一引入不是简单的技术迁移，而是将“模型自身的不确定性”作为路由信号——这是 E-GRM 最具原创性的贡献。
6.2 智能资源分配的未来空间
未来的 LLM 推理系统将不再是“一刀切”的等长推理，而是根据问题难度、用户场景、SLA 要求动态分配计算资源。E-GRM 的动态路由是这一未来方向的早期里程碑，其设计思路（共识度信号+二元路由+评分器评估）有望成为通用模板。
图表附录：
附图 1：Coupled-GRPO 中配对奖励函数公式。
附图 2：扩展 GRPO 优化目标公式。
参考文献：
Xue, C., Wang, Y., Liu, M., Zhang, H., Chen, K., Li, X., et al. (2026). Reason Only When Needed: Efficient Generative Reward Modeling via Model-Internal Uncertainty Estimation and Dynamic Routing Mechanisms. *Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)*, Main Conference Track, Long Papers. Association for Computational Linguistics. arXiv:2604.10072（https://arxiv.org/abs/2604.10072）
相关工作可进一步参考 RLHF 奖励建模、生成式奖励模型（GRM）、思维链（CoT）推理优化、模型不确定性量化、动态计算分配以及高效大语言模型推理等方向的最新研究成果，这些研究共同构成了 E-GRM 框架的理论基础与技术脉络。
