2025上半年,最新 AI实践都在这!20+ 应用案例,任听一场议题就值回票价 了解详情
写点什么

京东大模型蒸馏技术登上 Nature,推理平均提效 30%

  • 2025-05-15
    北京
  • 本文字数:1273 字

    阅读完需:约 4 分钟

大小:674.09K时长:03:50
京东大模型蒸馏技术登上Nature,推理平均提效30%

5 月 15 日,京东探索研究院论文《Omniforce:以人为中心的、赋能大模型的、云边协同的自动机器学习系统》发表于 Nature 旗下期刊 npj Artificial Intelligence,该项研究提出了一种在开放环境场景中训练、更新大模型,并与小模型协同部署的系统与方法,成为国内首个系统性解决开放环境下大模型开发效率难题并获国际顶刊认证的研究成果。该技术通过模型蒸馏、数据治理、训练优化与云边协同四大创新,将大模型推理效率平均提升 30%,训练成本降低 70%


京东大模型开发计算技术,推理平均提效 30%


企业将大模型应用付诸实践,面临着诸多卡点,一方面进入大模型应用门槛高,另一方面模型训练与推理效率低。


京东大模型开发计算技术,能支持企业的模型开发训练及生产,让庞大、重型的 AI 模型“瘦身”成精悍的小模型,精华依旧,效率大增,瘦身不降智。既能节省算力资源,加速推理,还能适应多平台,广泛部署到更多平台上。


论文中提出了四个创新方法:

  • 模型蒸馏,采用动态分层蒸馏技术,特别是在预训练阶段进行蒸馏,调整仅 0.5%的参数实现低资源场景下的高效训练,减少大型模型的部署成本。

  • 数据治理,提出跨领域数据动态采样算法,自动混合不同领域数据,并引入隐私保护和主动学习技术,提升大模型泛化能力。

  • 训练优化,使用贝叶斯优化(BO)框架进行超参数优化和架构搜索,尤其是擅长处理离散空间,MPMD 场景下资源利用率提升 40%。

  • 云边协同,支持在云端进行模型搜索和训练,边缘设备负责部署和推理,并利用两阶段压缩策略以适应资源限制,提升云边协作的高效性。



值得一提的是,该平台还可支持京东大模型、Llama、DeepSeek 等多个模型的蒸馏、推理。在模型蒸馏层面,效果较同量级模型有明显提升,以京东大模型为例,蒸馏后的大模型 Livebench 提升 14 分。大量的实验结果也证明有效性和效率,推理平均提效 30%,训练成本平均降低 70%

JoyBuild 大模型开发计算平台,让模型训练与应用更普惠


这套京东沉淀下来的大模型开发计算的技术,支撑了 JoyBuild 大模型开发计算平台,广泛服务行业用户。

JoyBuild 能够为客户的大模型开发和行业应用开发,提供定制化解决方案。JoyBuild 支持各类模型的调优开发,内置 20 余种开源模型和丰富的数据集,并提供 100 余种算法和工具链,帮助企业根据自身业务特征,将通用模型迅速转化为专业模型,一站式应用大模型。


现在,不到一周时间,企业即可完成从数据准备、模型训练到模型部署的全流程;之前需要 10 余人的科学家团队工作,现在只需要 1~2 个算法人员;通过平台模型加速工具优化,节约 90%的推理成本。


京东丰富的业务场景,还为平台上的基础大模型提供具体的行业应用场景,加速基于大模型的商业化落地。在行业知识库之外,JoyBuild 沉淀了京东自己的零售、物流、健康、金融等行业 Know-How,可应用于供应链优化、智能客服、营销内容生成等各类场景,加速模型普惠。

 

京东给出的大模型解法并不是“黑箱”,而是一条解决大模型训练效率及应用问题的通用路径,是真正的“授之以渔”,对学术界、产业界均有广泛参考价值。未来,京东将进一步提升大模型开发与计算效率,让中小型和大型企业都能低成本、高效构建专属 AI 应用,助推 AI 规模化应用落地。

2025-05-15 18:066673

评论

发布
暂无评论

2025最好的Next.js面试题(一)

溪抱鱼

面试 前端 next.js

“深时数字地球”国际大科学计划系列工作坊持续开放!专业友好可复现,赋能科学智能生态合作(1)

ModelWhale

科学智能 AI4S DDE 深时数字地球

首批!火山引擎通过中国信通院《边缘大模型网关技术要求》

火山引擎边缘云

网关 火山引擎 大模型 火山引擎边缘云 DeepSeek

基于DolphinScheduler抽取通用EventBus组件:支持延迟与事件驱动

白鲸开源

开源 技术分享 Apache DolphinScheduler EventBus 任务调度平台

手游DDoS攻击防御与应对策略

网络安全服务

CDN 服务器 高防IP DDoS 攻击 游戏盾

盘点制造业数字化转型的6大关键问题

优秀

数字化转型 制造业

【调研】请为 Karmada Concept <Host Cluster> 提供宝贵建议

华为云原生团队

云计算 容器 云原生

《数据治理与AI的双向赋能:从理论到实践》

极客天地

深度探讨:企业级智能体为何成为企业数字化转型新宠?

Techinsight

Android 16 适配重点全解读 | OPPO 技术专场直播回顾

科技热闻

Higress 入选全球 Top 100 MCP Servers 榜单|MCPMarket.com

阿里巴巴云原生

阿里云 云原生 Higress

MeetUp 议题征集 龙蜥邀您共探面向泛在智算场景的操作系统技术

OpenAnolis小助手

AI 操作系统 龙蜥社区 龙蜥meetup

三问业务数据化与数据业务化

优秀

数字化 业务数据化 数据业务化

时序数据库 TDengine × Superset:开源界的时序可视化黄金组合

TDengine

tdengine 时序数据库 数据库·

从细胞工厂到智能制造:Extracellular 用时序数据库 TDengine 打通数据生命线

TDengine

tdengine 时序数据库 数据库‘’

卫星互联网的未来:数字样机技术如何加速低轨卫星网络的变革

DevOps和数字孪生

卫星 航空航天

Java资源管理与防止泄漏:从SeaTunnel源码看资源释放

白鲸开源

Java 开源 数据集成 资源管理 Apache SeaTunnel

关于集团公司数字化转型的几点思考!

优秀

数字化转型 集团公司

重磅!一文彻底搞懂 AI Agent

Techinsight

昆仑芯超节点创新设计:1U 4 卡高密算力,无缝适配各类机房环境

Baidu AICLOUD

nvidia 昇腾 超节点 910C NVL72

风靡全网的《羊了个羊》,其实可以用几百行代码复刻?

不惑

CodeBuddy首席试玩官

获国际权威机构认可!龙蜥社区通过 OpenChain ISO/IEC 5230 认证

OpenAnolis小助手

Linux 操作系统 标准化 龙蜥社区 OpenAnolis

BeeWorks局域网聊天工具:打造智能高效的企业级即时通讯新生态

BeeWorks

EMQX Cloud 、时序数据库 TDengine Cloud 实现数据互通!联手打造端到端云上大数据解决方案

TDengine

数据库 tdengine 时序数据库

【CodeBuddy】三分钟开发一个实用小功能之:霓虹灯管菜单导航

jimaks

CSS

为什么说MES越早上越好,8个问题带你读懂MES生产管理!

积木链小链

数字化转型 智能制造

奥睿科(ORICO) NAS远程访问教程:贝锐花生壳一键内网穿透

科技热闻

实战案例分享:如何基于Apache SeaTunnel全方位进行高效二次开发

白鲸开源

大数据 开源 技术分享 数据集成 Apache SeaTunnel

MIAOYUN受邀参加“创投天府·周周见”活动,以AI原生技术赋能科创产业新生态

MIAOYUN

AI 云原生 投融资 创投活动 创投天府

鸿蒙仓颉开发语言实战教程:实现商城应用详情页

幽蓝计划

MCP Server On FC之旅2: 从0到1-MCP Server市场构建与存量OpenAPI转MCP Server

阿里巴巴云原生

阿里云 云原生 函数计算

京东大模型蒸馏技术登上Nature,推理平均提效30%_生成式 AI_李冬梅_InfoQ精选文章