写点什么

200 亿参数大模型书生·浦语在阿里云魔搭开源首发,免费可商用

  • 2023-09-20
    北京
  • 本文字数:1167 字

    阅读完需:约 4 分钟

大小:592.50K时长:03:22
200亿参数大模型书生·浦语在阿里云魔搭开源首发,免费可商用

9 月 20 日,上海人工智能实验室等机构发布书生·浦语大模型(InternLM)200 亿参数版本 InternLM-20B,并在阿里云魔搭社区(ModelScope)开源首发、免费商用。书生·浦语大模型体系与魔搭社区建立重磅生态合作,以开源开放促进中国大模型生态繁荣。

 


书生·浦语(InternLM)大语言模型由上海人工智能实验室联合多家机构共同推出。今年 6 月,InternLM 千亿参数(104B)语言大模型首次发布,现已经历多轮升级;7 月,上海人工智能实验室开源书生·浦语 70 亿参数的轻量级版本 InternLM-7B,且在业内率先开源贯穿数据、预训练、微调、部署和评测的全链条工具体系。InternLM-7B 也已上线魔搭社区。

 

本次发布的 InternLM-20B 是一款中量级大模型,性能先进且应用便捷,模型基于 2.3T Tokens 预训练语料从头训练,相较于 InternLM-7B,其理解能力、推理能力、数学能力、编程能力等都有显著提升。

 

相比于此前国内陆续开源的 7B 和 13B 规格模型,20B 量级模型具备更强大的综合能力,复杂推理和反思能力尤为突出,能为实际应用场景提供更有力的性能支持;同时,20B 量级模型可在单卡上进行推理,经过低比特量化后,可运行在单块消费级 GPU 上,因而在实际应用中更为便捷。

 

具体而言,InternLM-20B 拥有几大优势:


  1. 优异的综合性能。不仅全面领先相近量级的开源模型,且以不足 1/3 的参数量,测评成绩达到了 Llama2-70B 的水平。

  2. 强大的工具调用能力。支持数十类插件,上万个 API 功能,还具备代码解释和反思修正能力,为智能体(Agent)的构建提供了良好的技术基础。

  3. 更长的语境。实现了对长文理解、长文生成和超长对话的有效支持,同时支持 16K 语境长度。

  4. 更安全的价值对齐。在研发训练的过程中,研究团队进行了基于 SFT 和 RLHF 两阶段价值对齐,并通过专家红队的对抗训练大幅提高其安全性。

 

目前,书生·浦语开源工具链也已全新升级,形成更完善的体系,包括预训练框架 InternLM-Train、低成本微调框架 XTuner、部署推理框架 LMDeploy、评测框架 OpenCompass 以及面向场景应用的智能体框架 Lagent。书生·浦语工具链将和开源数据平台 OpenDataLab 构成强大的开源工具及数据体系,为业界提供全链条研发与应用支持。

 

魔搭社区开设了书生·浦语“模型品牌馆”专页,聚合书生·浦语系列所有模型及体验接口,便于开发者一站式查询、下载、使用书生模型;魔搭公众号则推出了最佳实践教程,提前跑通模型的部署、推理和微调流程,供开发者参考。

 

相关链接:

书生·浦语-20B:

https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-20b

书生·浦语-对话-20B:

https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-20b-chat

魔搭社区最佳实践:

https://mp.weixin.qq.com/s?__biz=MzkxNTM5NTg2OA==&mid=2247486560&idx=1&sn=28517fb276b9d87b7f75d432a8a3dc2f&chksm=c15e8813f62901053216926c3d9b18d63ee825ea9e28fbeeec2a9e92360b1d3286263a6ae574#rd

2023-09-20 17:578119

评论 1 条评论

发布
用户头像
hhh
2023-09-20 21:54 · 北京
回复
没有更多了
发现更多内容

CSS之选择器(五)

Augus

CSS 12月日更

恒源云(GPUSHARE)_CV领域之几何变化

恒源云

深度学习 CV

【HZERO微服务平台1】开源免费的企业级PaaS平台

qiaoxingxing

签约计划第二季

【HZERO微服务平台3】源码分析之oauth服务token生成、校验、获取信息、传递

qiaoxingxing

签约计划第二季

【HZERO微服务平台2】源码分析之网关

qiaoxingxing

签约计划第二季

XML数字签名原理篇

RingCentral铃盛

3天后,浪潮云有大动作!

浪潮云

英特尔技术发力:着眼10倍封装密度提升,30%~50%晶体管密度提升,布局非硅基半导体

科技新消息

【HZERO微服务平台4】源码分析之admin服务刷新路由、权限、swagger的过程

qiaoxingxing

签约计划第二季

【HZERO微服务平台5】JHipster接入HZERO

qiaoxingxing

签约计划第二季

如何高效完成HarmonyOS分布式应用测试?|HDC2021技术分论坛

HarmonyOS开发者

HarmonyOS ArKUI 3.0

简单3步,OpenHarmony上跑起ArkUI分布式小游戏

HarmonyOS开发者

OpenHarmony

XML数字签名实践篇

RingCentral铃盛

首个国产元宇宙“希壤”来临,百度成了先锋!

CECBC

Hoo虎符研究院 | 币圈后浪 ——DVD

区块链前沿News

Hoo 币圈后浪 项目分析

ZooKeeper 分布式锁 Curator 源码 05:分布式读写锁和联锁

程序员小航

Java 分布式锁 curator

如何在建木CI中使用Vault管理密钥

Jianmu

DevOps CI/CD 开源软件

火遍全网的「蚂蚁呀嘿」教程开源了!

百度开发者中心

开源

跨平台多主机键鼠共享

Arch

深入研究【HZERO微服务平台】开源免费的企业级PaaS平台

qiaoxingxing

内容合集 签约计划第二季

实体链接在小布助手和OGraph的实践应用

安第斯智能云

人工智能 深度学习 算法 nlp 知识图谱

2021阿里云弹性计算年度峰会将于12月21日开启线上直播,五大看点不容错过

阿里云弹性计算

弹性计算 年度峰会 线上直播

值得收藏!2021百度开源技术干货大汇总

百度开发者中心

开源 2021 内容合集 技术专题合集 百度开源

java实现数据导出

卢卡多多

28天写作 数据导出 12月日更

区块链产业规模约达50亿元,已成为数字经济发展重要引擎

CECBC

Hoo虎符研究院 | 区块链简报 20211213期

区块链前沿News

区块链 Hoo 虎符交易所

降低成本对技术组织意味着什么?

田晓亮

云计算 serverles

百度开源一款基于 Git 的多仓库管理工具:MGit

百度开发者中心

git 开源

全新“支付方式”来了,数字货币六大行公开支持,安全且转账免费

CECBC

如何优雅地在Vue页面中引入img图片

CRMEB

OAuth2.0面面观

RingCentral铃盛

200亿参数大模型书生·浦语在阿里云魔搭开源首发,免费可商用_阿里巴巴_凌敏_InfoQ精选文章