AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

百川智能正式发布开源大模型 Baichuan 2

  • 2023-09-06
    北京
  • 本文字数:1587 字

    阅读完需:约 5 分钟

大小:887.88K时长:05:03
百川智能正式发布开源大模型Baichuan 2

9 月 6 日,在北京市科学技术委员会、中关村科技园区管理委员会、北京市海淀区政府的指导下,百川智能召开主题为“百川汇海,开源共赢”的大模型发布会,中科院院士张钹亲临现场并发表致辞。会上,百川智能宣布正式开源微调后的 Baichuan2-7B、Baichuan2-13B、Baichuan2-13B-Chat 与其 4bit 量化版本,并且均为免费可商用。

百川智能此次还开源了模型训练的 Check Point,并宣布将发布 Baichuan 2 技术报告,详细介绍 Baichuan 2 的训练细节,帮助大模型学术机构、开发者和企业用户更深入的了解其训练过程,更好地推动大模型学术研究和社区的技术发展。

Baichuan 2 下载地址:https://github.com/baichuan-inc/Baichuan2 

文理兼备性能优异,超过 LLaMA 2

Baichuan2-7B-Base 和 Baichuan2-13B-Base,均基于 2.6 万亿高质量多语言数据进行训练,在保留了上一代开源模型良好的生成与创作能力,流畅的多轮对话能力以及部署门槛较低等众多特性的基础上,两个模型在数学、代码、安全、逻辑推理、语义理解等能力有显著提升。其中 Baichuan2-13B-Base 相比上一代 13B 模型,数学能力提升 49%,代码能力提升 46%,安全能力提升 37%,逻辑推理能力提升 25%,语义理解能力提升 15%。

本次开源的两个模型在各大评测榜单上的表现优秀,在 MMLU、CMMLU、GSM8K 等几大权威评估基准中,以绝对优势领先 LLaMA2,相比其他同等参数量大模型,表现也十分亮眼,性能大幅度优于 LLaMA2 等同尺寸模型竞品。

 

更值得一提的是,根据 MMLU 等多个权威英文评估基准评分 Baichuan2-7B 以 70 亿的参数在英文主流任务上与 130 亿参数量的 LLaMA2 持平。

7B 参数模型的 Benchmark 成绩

13B 参数模型的 Benchmark 成绩

Baichuan2-7B 和 Baichuan2-13B 不仅对学术研究完全开放,开发者也仅需邮件申请获得官方商用许可后,即可以免费商用。

国内首创全程开源模型训练 Check Point,助力学术研究

大模型训练包含海量高质量数据获取、大规模训练集群稳定训练、模型算法调优等多个环节。每个环节都需要大量人才、算力等资源的投入,从零到一完整训练一个模型的高昂成本,阻碍了学术界对大模型训练的深入研究。

本着协作和持续改进的精神,百川智能本次开源了模型训练从 220B 到 2640B 全过程的 Check Ponit。这对于科研机构研究大模型训练过程、模型继续训练和模型的价值观对齐等极具价值,将极大推动国内大模型的科研进展,开源训练模型过程对国内开源生态尚属首次。

技术报告揭示训练细节,繁荣开源生态

当前大部分开源模型在开源过程中只是对外公开自身的模型权重,很少提及训练细节,企业、研究机构、开发者们只能在开源模型的基础上做有限的微调,很难进行深入研究。

秉持更开放、更透明的理念,为帮助从业者深入了解 Baichuan 2 的训练过程和相关经验,更好地推动大模型社区的技术发展。百川智能在发布会上宣布,公开 Baichuan 2 的技术报告。技术报告将详细介绍 Baichuan 2 训练的全过程,包括数据处理、模型结构优化、Scaling law、过程指标等。报告链接:

https://baichuan-paper.oss-cn-beijing.aliyuncs.com/Baichuan2-technical-report.pdf 


百川智能自成立之初,就将通过开源方式助力中国大模型生态繁荣作为公司的重要发展方向。成立不到四个月,便相继发布了 Baichuan-7B、Baichuan-13B 两款开源免费可商用的中文大模型,以及一款搜索增强大模型 Baichuan-53B,两款开源大模型在多个权威评测榜单均名列前茅,目前下载量超过 500 万次。

 

不仅如此,在今年创立的大模型公司中,百川智能是唯一一家通过《生成式人工智能服务管理暂行办法》备案,可以正式面向公众提供服务的企业。凭借行业领先的基础大模型研发和创新能力,此次开源的两款 Baichuan 2 大模型,得到了上下游企业的积极响应,腾讯云、阿里云、火山方舟、华为、联发科等众多知名企业均参加了本次发布会并与百川智能达成了合作。

未来,百川智能将在开源大模型领域持续深耕,将更多的技术能力、前沿创新开放出来,与更多的合作伙伴们共同助力中国大模型生态蓬勃发展。

2023-09-06 17:555368
用户头像
赵钰莹 极客邦科技 总编辑

发布了 894 篇内容, 共 681.3 次阅读, 收获喜欢 2694 次。

关注

评论

发布
暂无评论
发现更多内容

mysql磁盘碎片整理

京东科技开发者

mac强大的安卓文件传输工具:Android File Transfer for mac 版

你的猪会飞吗

Mac软件 Android File Transfer mac破解软件下载

DDD-10-值对象设计

南山

领域驱动设计 DDD 值对象

TikTok直播网络加速方法

Ogcloud

TikTok tiktok运营 tiktok直播 tiktok直播专线 tiktok矩阵

解析阿里巴巴中国站商品详情API返回值的更新与变化

技术冰糖葫芦

API Explorer API 测试 pinduoduo API

日常工作中需要避免的9个React坏习惯

不在线第一只蜗牛

JavaScript 前端 React

从零到一,了解京东商品详情API返回值

技术冰糖葫芦

API Explorer API 测试 pinduoduo API

DDD-9-聚合划分

南山

领域驱动设计 DDD 聚合根

DDD-11-领域服务

南山

领域驱动设计 DDD 领域服务

DDD-12-领域事件

南山

领域驱动设计 DDD 领域事件

黑神话悟空-快速部署

京东科技开发者

SD-WAN组网对比传统组网有哪些优点?

Ogcloud

SD-WAN 企业组网 SD-WAN组网 SD-WAN服务商 SDWAN

淘宝 API 接口的实际应用案例

Noah

ChatGPT访问难?ChatGLM+花生壳打造可远程访问的平替方案

贝锐

内网穿透 ChatGPT AIGCC

云端集中管控边缘服务:利用 EMQX ECP 在 K8s 上快速部署 NeuronEX

EMQ映云科技

NeuronEX EMQX ECP eqmx

京东商品详情数据接口解析(实时数据含测试及示例)

tbapi

京东API接口 京东商品详情接口 京东商品数据采集

DDD-14-工厂设计

南山

领域驱动设计 DDD

从构思到上线:深入解析海外1v1视频聊天应用核心功能与技术开发指南

山东布谷科技胡月

一对一视频聊天系统 海外直播 国际版社交APP 社交APP源码 聊天APP源码

浅析JVM invokedynamic指令和Java Lambda语法|得物技术

得物技术

Java JVM 企业号2024年8月PK榜

DDD-7-子域划分

南山

领域驱动设计 DDD 子域

DDD-8-实体设计

南山

可以在mac电脑玩Red Alert红色警戒:红警 for Mac合集

你的猪会飞吗

红色警戒 mac软件下载 Mac游戏下载

如何使用 NFTScan NFT API 在 Gravity 网络上开发 Web3 应用

NFT Research

NFT\ NFTScan API】

openGauss- X-Tuner: 参数调优与诊断

Gauss松鼠会

数据库 opengauss 数据库·

DDD-6-限界上下文

南山

领域驱动设计 DDD 微服务划分 限界上下文

DDD-13-仓储设计

南山

领域驱动设计 DDD 仓储 资源库

TapData 信创数据源 | 国产信创数据库 Vastbase 数据同步指南,加速国产化进程,推进自主创新建设

tapdata

数据同步

【我在京东做产研】校招 2 年,个人角度(成长)回顾 - 行且知

京东科技开发者

MySQL中为什么要使用索引合并(Index Merge)?

不在线第一只蜗牛

MySQL 数据库 索引

百川智能正式发布开源大模型Baichuan 2_生成式 AI_赵钰莹_InfoQ精选文章