NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

200 亿参数大模型书生·浦语在阿里云魔搭开源首发,免费可商用

  • 2023-09-20
    北京
  • 本文字数:1167 字

    阅读完需:约 4 分钟

大小:592.50K时长:03:22
200亿参数大模型书生·浦语在阿里云魔搭开源首发,免费可商用

9 月 20 日,上海人工智能实验室等机构发布书生·浦语大模型(InternLM)200 亿参数版本 InternLM-20B,并在阿里云魔搭社区(ModelScope)开源首发、免费商用。书生·浦语大模型体系与魔搭社区建立重磅生态合作,以开源开放促进中国大模型生态繁荣。

 


书生·浦语(InternLM)大语言模型由上海人工智能实验室联合多家机构共同推出。今年 6 月,InternLM 千亿参数(104B)语言大模型首次发布,现已经历多轮升级;7 月,上海人工智能实验室开源书生·浦语 70 亿参数的轻量级版本 InternLM-7B,且在业内率先开源贯穿数据、预训练、微调、部署和评测的全链条工具体系。InternLM-7B 也已上线魔搭社区。

 

本次发布的 InternLM-20B 是一款中量级大模型,性能先进且应用便捷,模型基于 2.3T Tokens 预训练语料从头训练,相较于 InternLM-7B,其理解能力、推理能力、数学能力、编程能力等都有显著提升。

 

相比于此前国内陆续开源的 7B 和 13B 规格模型,20B 量级模型具备更强大的综合能力,复杂推理和反思能力尤为突出,能为实际应用场景提供更有力的性能支持;同时,20B 量级模型可在单卡上进行推理,经过低比特量化后,可运行在单块消费级 GPU 上,因而在实际应用中更为便捷。

 

具体而言,InternLM-20B 拥有几大优势:


  1. 优异的综合性能。不仅全面领先相近量级的开源模型,且以不足 1/3 的参数量,测评成绩达到了 Llama2-70B 的水平。

  2. 强大的工具调用能力。支持数十类插件,上万个 API 功能,还具备代码解释和反思修正能力,为智能体(Agent)的构建提供了良好的技术基础。

  3. 更长的语境。实现了对长文理解、长文生成和超长对话的有效支持,同时支持 16K 语境长度。

  4. 更安全的价值对齐。在研发训练的过程中,研究团队进行了基于 SFT 和 RLHF 两阶段价值对齐,并通过专家红队的对抗训练大幅提高其安全性。

 

目前,书生·浦语开源工具链也已全新升级,形成更完善的体系,包括预训练框架 InternLM-Train、低成本微调框架 XTuner、部署推理框架 LMDeploy、评测框架 OpenCompass 以及面向场景应用的智能体框架 Lagent。书生·浦语工具链将和开源数据平台 OpenDataLab 构成强大的开源工具及数据体系,为业界提供全链条研发与应用支持。

 

魔搭社区开设了书生·浦语“模型品牌馆”专页,聚合书生·浦语系列所有模型及体验接口,便于开发者一站式查询、下载、使用书生模型;魔搭公众号则推出了最佳实践教程,提前跑通模型的部署、推理和微调流程,供开发者参考。

 

相关链接:

书生·浦语-20B:

https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-20b

书生·浦语-对话-20B:

https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-20b-chat

魔搭社区最佳实践:

https://mp.weixin.qq.com/s?__biz=MzkxNTM5NTg2OA==&mid=2247486560&idx=1&sn=28517fb276b9d87b7f75d432a8a3dc2f&chksm=c15e8813f62901053216926c3d9b18d63ee825ea9e28fbeeec2a9e92360b1d3286263a6ae574#rd

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2023-09-20 17:577754

评论 1 条评论

发布
用户头像
hhh
2023-09-20 21:54 · 北京
回复
没有更多了
发现更多内容

HUAWEI nova 10系列发布 华为应用市场筑牢应用安全防火墙

最新动态

关于栈区、堆区、全局区、文字常量区、程序代码区

NewBoy

前端 移动端 iOS 知识体系 7月月更

质量体系建设之路的分分合合

声网

创业讲堂 生态专栏

服务线上治理

阿泽🧸

微服务 7月月更

leetcode 72. Edit Distance 编辑距离(中等)

okokabcd

LeetCode 动态规划 算法与数据结构

【Docker 那些事儿】容器为什么傲娇?全靠Hub撑腰

Albert Edison

7月月更

什么是数据治理?为何华为愿意200万年薪聘数据治理专家?

雨果

数据治理 DaaS数据即服务

Java实现单例模式

lambochen

单例模式

使用 BlocConsumer 同时构建响应式组件和监听状态

岛上码农

flutter ios 安卓 移动端开发 7月月更

【愚公系列】2022年7月 Go教学课程 003-IDE的安装和基本使用

愚公搬代码

7月月更

跨域请求

Jason199

跨域 7月月更

如何用一个插件解决 Serverless 灰度发布难题?

阿里巴巴云原生

阿里云 Serverless 云原生 插件 灰度发布

【算法社区】训练准备和复杂度分析

小明Java问道之路

数据结构 算法 LeetCode 7月月更 算法社区

牛客java选择题每日打卡Day6

京与旧铺

7月月更

蓝队攻防演练中的三段作战

穿过生命散发芬芳

攻防演练 7月月更

HPDC智能基座人才发展峰会随笔

乌龟哥哥

7月月更

算法入门很简单:链表题套路及精选题目

宇宙之一粟

链表 7月月更

OpenHarmony资源管理详解

坚果

HarmonyOS OpenHarmony 6月月更

图解网络:什么是网关负载均衡协议GLBP?

wljslmz

网络协议 7月月更 GLBP 图解网络 网关负载均衡协议

能源势动:电力行业的碳中和该如何实现?

脑极体

繁华落尽、物是人非:个人站长该何去何从

石头IT视角

认识ThreadPoolExecutor

zarmnosaj

7月月更

Qemu Linux

贾献华

7月日更 7月月更

玩转gRPC—深入概念与原理

海风极客

gRPC 网络协议 后端开发

可观测|时序数据降采样在Prometheus实践复盘

阿里巴巴云原生

阿里云 云原生 Prometheus 可观测

2022-Java后端工程师面试指南-(Java基础篇)

自然

Java’ 7月月更

TLA+ 入门教程(1):形式化方法简介

多颗糖

分布式系统 TLA+

Vuex(三)

小恺

7月日更

浅聊一下中间件

为自己带盐

中间件 7月月更 dotnetcore

C语言中sizeof操作符的坑

Albert Edison

c++ C语言 7月月更 sizeof

后CentOS时代的操作系统漫谈

冯骐

centos 开源 openEuler 国产化 Anolis

200亿参数大模型书生·浦语在阿里云魔搭开源首发,免费可商用_阿里巴巴_凌敏_InfoQ精选文章