写点什么

国产开源大模型阵营又添新成员!商汤科技发布新一代大语言模型书生·浦语 2.0,支持 200K 超长上下文

  • 2024-01-18
    北京
  • 本文字数:1019 字

    阅读完需:约 3 分钟

大小:356.42K时长:02:01
国产开源大模型阵营又添新成员!商汤科技发布新一代大语言模型书生·浦语2.0,支持200K超长上下文

1 月 17 日,商汤科技与上海 AI 实验室联合香港中文大学和复旦大学正式发布新一代大语言模型书生·浦语 2.0(InternLM2)。

 

InternLM2 是在 2.6 万亿 token 的高质量语料上训练得到的。沿袭第一代书生·浦语(InternLM)设定,InternLM2 包含 7B 及 20B 两种参数规格及基座、对话等版本,满足不同复杂应用场景需求,

 

沿袭第一代书生·浦语(InternLM)的设定,InternLM2 包含 7B 及 20B 两种参数规格及基座、对话等版本,满足不同复杂应用场景需求,分别是:

 

  • Internlm2-base: 高质量和具有很强可塑性的模型基座,是模型进行深度领域适配的高质量起点;

  • Internlm2: 在 internlm2-base 基础上,在多个能力方向进行了强化,在评测中成绩优异,同时保持了很好的通用语言能力;

  • Internlm2-sft:在 Base 基础上,进行有监督的人类对齐训练;

  • Internlm2-chat:在 internlm2-sft 基础上,经过 RLHF,面向对话交互进行了优化,具有很好的指令遵循、共情聊天和调用工具等的能力。


InternLM2 的基础模型具备以下的技术特点:

 

  • 有效支持 20 万 tokens 的超长上下文:能够一次性接受并处理约 30 万汉字(约五六百页的文档)的输入内容。

  • 综合性能全面提升:各能力维度相比上一代模型全面进步,在推理、数学、代码等方面的能力提升显著。

 

值得一提的是,书生·浦语 2.0 版本将继续开源,提供免费商用授权。

 

Github 地址:

https://github.com/InternLM/InternLM

 

模型相关链接:

目前,书⽣·浦语 2.0(InternLM2)系列模型现已在魔搭 ModelScope 社区开源,包括:

 

书生·浦语 2-7B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-7b/summary

书生·浦语 2-对话-7B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-chat-7b/summary

书生·浦语 2-基座-7B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-base-7b/summary

书生·浦语 2-对话-7B-SFT:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-chat-7b-sft/summary

书生·浦语 2-基座-20B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-base-20b/summary

书生·浦语 2-20B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-20b/summary

书生·浦语 2-对话-20B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-chat-20b/summary

书生·浦语 2-对话-20B-SFT:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-chat-20b-sft/summary

2024-01-18 17:587530
用户头像
李冬梅 加V:busulishang4668

发布了 1114 篇内容, 共 725.6 次阅读, 收获喜欢 1254 次。

关注

评论

发布
暂无评论
发现更多内容

使用 JavaScript 脚本来进行复杂的查询改写

极限实验室

Java JavaScript

3D云渲染的优点和缺点是什么?

Finovy Cloud

C++采用Daemon进行后台程序部署

芯动大师

如何使用 Amazon Systems Manager 集中管理 Amazon IoT Greengrass 设备

亚马逊云科技 (Amazon Web Services)

Amazon

人工智能LLM模型:奖励模型的训练、PPO 强化学习的训练、RLHF | 社区征文

汀丶人工智能

人工智能 强化学习 RLHF ppo算法 年中技术盘点

简易注册中心监控NAS断电断网

WizInfo

Python

抓住风向“猪”持续飞,还是维持在风向的高度上?

Bonaparte

产品 产品经理 产品需求 产品培训

华为云CodeArts Check代码检查新手操作指南

云计算 代码规范 华为云 代码检查

自动化接口回归测试神器 AREX 使用初体验

AREX 中文社区

自动化测试 AWS 流量回放

直播回顾|用户增长之路,如何兼具体验和点击率?

HarmonyOS SDK

HMS Core

实测结果公开:用户见证 StarRocks 存算分离优异性能!

StarRocks

数据库 大数据 数据仓库 OLAP 湖仓一体

2023-07-17:给定一个数组arr,长度为n, 再给定一个数字k,表示一定要将arr划分成k个集合, 每个数字只能进一个集合。 返回每个集合内部的平均值都累加起来最小的值。 平均值向下取整。 1

福大大架构师每日一题

福大大架构师每日一题

代码随想录Day20 - 二叉树(六)

jjn0703

再获肯定!柏睿数据通过国家级专精特新“小巨人”企业复核

新消费日报

百度 APP iOS 端包体积 50M 优化实践 (四) 代码优化

百度Geek说

ios 代码优化 企业号 7 月 PK 榜

香港成新加密中心,JPEX生态平台通证JPC获益颇多

股市老人

C语言实现解一元二次方程

codists

云原生网关如何实现安全防护能力

阿里巴巴云原生

阿里云 云原生 网关

直播解锁 Serverless 新进展,与 AIGC 结合有什么搞头?

阿里巴巴云原生

阿里云 Serverless 云原生 AIGC

计算机视觉和滤帧技术

鲸品堂

计算机视觉 图像 企业号 7 月 PK 榜

ChatGPT助力DevOps的优势与局限

互联网工科生

DevOps 自动化运维 ChatGPT

AlienSwap 首期 Launchpad — 偶像女团 NFT+RWA 的创新探索

股市老人

大语言模型的预训练[1]:基本概念原理、神经网络的语言模型、Transformer模型原理详解、Bert模型原理介绍| 社区征文

汀丶人工智能

神经网络 Transformer NLP 大模型 BERT 年中技术盘点

国产开源大模型阵营又添新成员!商汤科技发布新一代大语言模型书生·浦语2.0,支持200K超长上下文_生成式 AI_李冬梅_InfoQ精选文章