【ArchSummit】如何通过AIOps推动可量化的业务价值增长和效率提升?>>> 了解详情
写点什么

200 亿参数大模型书生·浦语在阿里云魔搭开源首发,免费可商用

  • 2023-09-20
    北京
  • 本文字数:1167 字

    阅读完需:约 4 分钟

大小:592.50K时长:03:22
200亿参数大模型书生·浦语在阿里云魔搭开源首发,免费可商用

9 月 20 日,上海人工智能实验室等机构发布书生·浦语大模型(InternLM)200 亿参数版本 InternLM-20B,并在阿里云魔搭社区(ModelScope)开源首发、免费商用。书生·浦语大模型体系与魔搭社区建立重磅生态合作,以开源开放促进中国大模型生态繁荣。

 


书生·浦语(InternLM)大语言模型由上海人工智能实验室联合多家机构共同推出。今年 6 月,InternLM 千亿参数(104B)语言大模型首次发布,现已经历多轮升级;7 月,上海人工智能实验室开源书生·浦语 70 亿参数的轻量级版本 InternLM-7B,且在业内率先开源贯穿数据、预训练、微调、部署和评测的全链条工具体系。InternLM-7B 也已上线魔搭社区。

 

本次发布的 InternLM-20B 是一款中量级大模型,性能先进且应用便捷,模型基于 2.3T Tokens 预训练语料从头训练,相较于 InternLM-7B,其理解能力、推理能力、数学能力、编程能力等都有显著提升。

 

相比于此前国内陆续开源的 7B 和 13B 规格模型,20B 量级模型具备更强大的综合能力,复杂推理和反思能力尤为突出,能为实际应用场景提供更有力的性能支持;同时,20B 量级模型可在单卡上进行推理,经过低比特量化后,可运行在单块消费级 GPU 上,因而在实际应用中更为便捷。

 

具体而言,InternLM-20B 拥有几大优势:


  1. 优异的综合性能。不仅全面领先相近量级的开源模型,且以不足 1/3 的参数量,测评成绩达到了 Llama2-70B 的水平。

  2. 强大的工具调用能力。支持数十类插件,上万个 API 功能,还具备代码解释和反思修正能力,为智能体(Agent)的构建提供了良好的技术基础。

  3. 更长的语境。实现了对长文理解、长文生成和超长对话的有效支持,同时支持 16K 语境长度。

  4. 更安全的价值对齐。在研发训练的过程中,研究团队进行了基于 SFT 和 RLHF 两阶段价值对齐,并通过专家红队的对抗训练大幅提高其安全性。

 

目前,书生·浦语开源工具链也已全新升级,形成更完善的体系,包括预训练框架 InternLM-Train、低成本微调框架 XTuner、部署推理框架 LMDeploy、评测框架 OpenCompass 以及面向场景应用的智能体框架 Lagent。书生·浦语工具链将和开源数据平台 OpenDataLab 构成强大的开源工具及数据体系,为业界提供全链条研发与应用支持。

 

魔搭社区开设了书生·浦语“模型品牌馆”专页,聚合书生·浦语系列所有模型及体验接口,便于开发者一站式查询、下载、使用书生模型;魔搭公众号则推出了最佳实践教程,提前跑通模型的部署、推理和微调流程,供开发者参考。

 

相关链接:

书生·浦语-20B:

https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-20b

书生·浦语-对话-20B:

https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-20b-chat

魔搭社区最佳实践:

https://mp.weixin.qq.com/s?__biz=MzkxNTM5NTg2OA==&mid=2247486560&idx=1&sn=28517fb276b9d87b7f75d432a8a3dc2f&chksm=c15e8813f62901053216926c3d9b18d63ee825ea9e28fbeeec2a9e92360b1d3286263a6ae574#rd

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2023-09-20 17:577766

评论 1 条评论

发布
用户头像
hhh
2023-09-20 21:54 · 北京
回复
没有更多了
发现更多内容

2021金三银四Android面试心得,已拿到多个offer

android 程序员 移动开发

37岁Android程序员被裁员,面试大厂被拒,降薪去小公司,心更凉了

android 程序员 移动开发

8年老Android开发谈:Context都没弄明白凭什么拿高薪?

android 程序员 移动开发

2020年了,跨平台开发框架现在怎样了?

android 程序员 移动开发

2020年疫情下的Android跳槽之路 掘金技术征文

android 程序员 移动开发

2020最新BAT-Android高端技术面试145题详解

android 程序员 移动开发

🏆【JVM深层系列】「云原生时代的Java虚拟机」针对于GraalVM的技术知识脉络的重塑和探究

洛神灬殇

JVM 编译器 GraalVM 11月日更

2021 年 9 月美团 Android 面试总结

android 程序员 移动开发

2021首次发车,Flutter Fair正式开源了

android 程序员 移动开发

45天拿下字节跳动Android研发岗offer,竟然有个面试真题库,内幕首次公开!

android 程序员 移动开发

2020新一波跳槽季过后,Android程序员精选,大厂(小米

android 程序员 移动开发

2021京东 Android 岗 Java 面试真题解析

android 程序员 移动开发

35岁程序员面对被优化,面对生活,房贷车贷能有多无力?

android 程序员 移动开发

A015-布局之LinearLayout

android 程序员 移动开发

2020我的百度面试之旅,国庆前的Offer,总是如此舒适!

android 程序员 移动开发

2020至2021年Android开发面试习题整理,持续更新中

android 程序员 移动开发

2020这一年的Android面经汇总(百度、腾讯、滴滴、美团

android 程序员 移动开发

30K成功入职:腾讯视频面试Android经历!「含面试题

android 程序员 移动开发

2021下半年软考多媒体考试总结

Changing Lin

11月日更

Activity详解与实现

android 程序员 移动开发

Andorid Studio 制作欢乐写数字(Timer启动+帧动画)

android 程序员 移动开发

2020抖音短视频爆火!它的背后到底是什么——如何快速的开发一个完整的直播app

android 程序员 移动开发

2020腾讯、百度、华为Android面试题校招汇总(已拿offer

android 程序员 移动开发

2021【BAJT】Android校招、社招面试题整理合集

android 程序员 移动开发

2021最新整理大厂Android面试高频知识点

android 程序员 移动开发

2021疫情下Android技术人的宅家学习进阶指南!花了大价钱大厂内部买来的学习资料,爱看不看!

android 程序员 移动开发

20场面试斩获大厂offer,你在我这能学到什么?

android 程序员 移动开发

3-5年的Android工程师最容易遇到4个瓶颈是什么?

android 程序员 移动开发

5月份,京东 Android开发面经分享!

android 程序员 移动开发

2021最新Android架构师必备宝典《Android架构开发手册》含抖音、美团等大厂架构演进之路

android 程序员 移动开发

37岁老码农现身说法,想让薪资跨越30k,要走这3条路

android 程序员 移动开发

200亿参数大模型书生·浦语在阿里云魔搭开源首发,免费可商用_阿里巴巴_凌敏_InfoQ精选文章