AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

仅用 8 张显卡和一万块钱,清华团队用 7B 模型打败 GPT-4o 数学推理

  • 2025-01-13
    北京
  • 本文字数:1683 字

    阅读完需:约 6 分钟

仅用 8 张显卡和一万块钱,清华团队用7B模型打败GPT-4o数学推理

OpenAI o1 和 o3 模型的发布证明了强化学习能够让大模型拥有像人一样的快速迭代试错、深度思考的高阶推理能力,在基于模仿学习的 Scaling Law 逐渐受到质疑的今天,基于探索的强化学习有望带来新的 Scaling Law。


近日,清华大学 NLP 实验室联合上海 AI Lab,清华大学电子系及 OpenBMB 社区提出一种新的结合过程奖励的强化学习方法—— PRIME(Process Reinforcement through IMplicit REwards),采用 PRIME 方法,研究人员不依赖任何蒸馏数据和模仿学习,仅用 8 张 A100,花费一万块钱左右,不到 10 天时间,就能高效训练出一个数学能力超过 GPT-4o、Llama-3.1-70B 的 7B 模型 Eurus-2-7B-PRIME。


具体而言,研究人员利用 Qwen2.5-Math-7B-Base 作为基座模型,训练出了新模型 Eurus-2-7B-PRIME ,并在美国 IMO 选拔考试 AIME 2024 上的准确率达到 26.7%,大幅超越 GPT-4o,Llama3.1-70B 和 Qwen2.5-Math-7B-Instruct,且仅使用了 Qwen Math 数据的 1/10。其中,强化学习方法 PRIME 为模型带来了 16.7% 的绝对提升,远超已知的任何开源方案。




该项目一经开源就在海外 AI 社区爆火,短短几天 Github 取得 400+ star。


未来,基于 PRIME 方法和更强的基座模型有潜力训练出接近 OpenAI o1 的模型。



_blog 链接:_https://curvy-check-498.notion.site/Process-Reinforcement-through-Implicit-Rewards-15f4fcb9c42180f1b498cc9b2eaf896f


_GitHub 链接:_https://github.com/PRIME-RL/PRIME


PRIME 方法介绍


长久以来,开源社区严重依赖数据驱动的模仿学习来增强模型推理能力,但这种方法的局限也显而易见——更强的推理能力需要更高质量的数据,但高质量数据总是稀缺,使得模仿和蒸馏难以持续。虽然 OpenAI o1 和 o3 的成功证明了强化学习有着更高的上限,但强化学习有着两个关键挑战:(1)如何获得精准且可扩展的密集奖励;(2)如何设计可以充分利用这些奖励的强化学习算法。


PRIME 算法从隐式过程奖励(implicit process reward)的思想出发解决这两个问题。隐式过程奖励模型可以仅在输出奖励模型(outcome reward model, ORM)的数据,即答案的最终对错上进行训练,而隐式地建模过程奖励,最终自动训练出一个过程奖励模型,这整个过程都有严格的理论保证。


_详细推导见:_https://huggingface.co/papers/2412.01981



基于隐式过程奖励模型的这种性质,研究人员指出将其应用于强化学习有三大优势:


  1. 过程奖励:隐式过程奖励模型能够为每个 token 提供价值估计,在提供过程奖励的同时无需训练额外的价值模型(value model)

  2. 可扩展性:隐式过程奖励模型只需结果标签即可在线更新。所以,我们可以结合策略模型采样与结果验证器来直接更新 PRM,有效缓解分布偏移与可扩展性问题。

  3. 简洁性:隐式过程奖励模型本质上就是一种语言模型。在实践中,研究人员发现可以直接用初始的策略模型初始化 PRM。


隐式过程奖励解决了 PRM 在大模型强化学习中怎么用,怎么训,怎么扩展的三大问题,甚至不需要训练额外的奖励模型就可以开始强化学习,易用性和可扩展性极佳。


具体的 PRIME 算法流程如下图所示,它是一种在线强化学习算法,能够将每个 token 的过程奖励无缝应用于强化学习流程中。



实验结果


研究人员详细比较了 PRIME 算法和基线方法


相比于仅用结果监督,PRIME 有着 2.5 倍的采样效率提升,在下游任务上也有着显著提升。




研究人员还验证了 PRM 在线更新的重要性,可以看到,在线的 PRM 更新要显著优于固定不更新的 PRM,这也证明了 PRIME 算法设计和合理性



此外,研究人员还额外收集数据,基于 Qwen2.5-Math-Instruct 训练了 SOTA 水平的 EurusPRM,能够在 Best-of-N 采样中达到开源领先水平



showcase 演示


Question (AIME 2024 试题,Claude-3.5-Sonnet 做错)



Answer



Question


Which number is larger? 9.11 or 9.9?


Answer



强化学习是连接已有智能体(大模型)和现实世界(世界模型,具身智能)的桥梁,以及将世界反馈内化为模型智能的路径,将在下一代人工智能的发展中起到重要作用。PRIME 算法创新性地将隐式过程奖励与强化学习结合,解决了大模型强化学习的奖励稀疏问题,有望推动大模型复杂推理能力的进一步提升。


该工作在海外 AI 社区受到了很大欢迎:



2025-01-13 15:336456

评论 1 条评论

发布
用户头像
强化学习是连接已有智能体(大模型)和现实世界(世界模型,具身智能)的桥梁,以及将世界反馈内化为模型智能的路径,将在下一代人工智能的发展中起到重要作用。PRIME 算法创新性地将隐式过程奖励与强化学习结合,解决了大模型强化学习的奖励稀疏问题,有望推动大模型复杂推理能力的进一步提升。
这个说的很对
2025-06-03 07:01 · 江苏
回复
没有更多了

华为云开年采购季云上云下一体化安全解决方案,打造高效、安全管理平台

轶天下事

Flink 流处理框架核心性能

木南曌

flink 实时计算

朋友,代码库的“健身方案”要不要了解一下?

极狐GitLab

iNet Network Scanner:全面而深入的网络分析工具

Rose

鸿蒙生态全场景新增长,鲸鸿动能为伙伴带来新机遇

最新动态

我对一些技术架构设计的经验记录

大东(AIP智能体运营专员)

1688API接口推荐:1688按图搜索拍立淘数据接口

tbapi

1688 1688API接口 1688商品数据接口 阿里巴巴商品列表数据

企业需要企业IM(即时通讯)具备系统集成功能吗?

BeeWorks

安全的企业办公即时通讯软件怎么选择?

BeeWorks

腾讯天穹 StarRocks 一站式湖仓融合平台架构揭秘

StarRocks

数据库 大数据 湖仓一体 湖仓融合

《保卫萝卜4》仅用一个月完成鸿蒙原生应用开发

最新动态

印度股票交易软件GangGuHk

GangguHK

电源常用通讯电路

芯动大师

芯片 通讯 电源

华为携手伙伴再出发,引领空间智能新潮流,创造无限可能

HarmonyOS开发者

企业即时通讯工具,企业内部即时通讯系统推荐

BeeWorks

从API到Agent:万字长文洞悉LangChain工程化设计

TuGraphAnalytics

graph agent #LangChain

Vue.js 应用实现监控可观测性最佳实践

观测云

Vue

为什么说 $CHAPZ 是被严重低估的 AI 概念资产?

股市老人

深入理解 Java 多线程、Lambda 表达式及线程安全最佳实践

小万哥

Java 程序人生 编程语言 软件工程 后端开发

SpaceX 星舰发射「成功一半」;首位具身 AI 机器人面世丨 RTE 开发者日报 Vol.166

声网

Flink 数据目录体系:深入理解 Catalog、Database 及 Table 概念

木南曌

flink 实时计算

Kafka 痛点专题|AutoMQ 如何解决 Kafka 冷读副作用

AutoMQ

云计算 大数据 kafka 云原生 AutoMQ

StarRocks 易用性全面提升:数据导入可以如此简单

StarRocks

关于招聘这件事,技术面试官需要了解的几个点

芃篙君

招聘

仅用 8 张显卡和一万块钱,清华团队用7B模型打败GPT-4o数学推理_AI&大模型_OpenBMB 社区_InfoQ精选文章