写点什么

叫板 ChatGPT?Stability AI 开源语言大模型 StableLM,参数仅为 GPT-3 百分之四,却能实现超高性能

  • 2023-04-21
    北京
  • 本文字数:1494 字

    阅读完需:约 5 分钟

叫板ChatGPT?Stability AI 开源语言大模型 StableLM,参数仅为GPT-3百分之四,却能实现超高性能

4 月 20 日,AI 作画神器 Stable Diffusion 背后公司 Stability AI 发布了新的开源语言模型 StableLM。

这套模型的 Alpha 版分 30 亿和 70 亿参数两个版本,后续还有 150 亿到 650 亿参数的更多模型变体。

开发人员可以出于商用或研究等用途,自由体验、使用和微调 StableLM 基础模型,但须遵守 CC BY-SA-4.0 许可条款。



“一只随意样式的鹦鹉,扁平设计,矢量风格” — Stable Diffusion XL


2022 年,Stability AI 公开发布了 Stable Diffusion。这套革命性的图像模型,标志着不同于专有 AI 的透明、开放、可扩展替代方案已经出现。


随着 StableLM 模型套件的推出,Stability AI 继续践行着让每个人都能用上基础 AI 技术的基本宗旨。StableLM 模型能够生成文本和代码,并将为一系列下游应用程序提供支持。项目的意义,在于展示小规模高效模型如何通过适当训练提供出色的性能。


StableLM 的发布,建立在 Stability AI 与非营利性研究机构 EleutherAI 的早期开源语言模型的经验之上。这里的早期开源模型包括 GPT-J、GPT-NeoX 和 Pythia 套件,并在 The Pile 开源数据集上进行训练。近期众多开源语言模型同样以这些努力成果为基础,例如 Cerebras-GPT 和 Dolly-2 等。


StableLM 利用 The Pile 上的新实验数据集进行训练,但模型规模增大了 3 倍,包含 1.5 万亿个内容 token。


Stability AI 表示,将在适当的时候发布关于数据集的细节信息。这套数据集的高丰富度,使得 StableLM 在会话和编码任务中表现出惊人的高性能,且继续保持着相对较小的参数量——只有 3 亿至 70 亿之间(与之对应,GPT-3 拥有 1750 亿个参数)。


Stability AI 还发布了一系列经过指令微调的研究模型。这 5 套经过开源数据集微调的模型均为对话智能体,分别为 Alpaca、GPT4All、Dolly、ShareGPT 以及 HH。目前这些模型仅供研究用途,基于非商用 CC BY-NC-SA 4.0 发布,且遵循斯坦福大学的 Alpaca 许可。


以下各图,为 70 亿参数微调模型生成的对话示例:





Stability AI 表示,“语言模型将构成我们数字经济的支柱,我们希望每个人都能为模型设计提出意见。以 StableLM 为代表的这批开源模型,也再次践行了我们对于打造透明、可访问、支持性 AI 技术的承诺”:


  • 透明。通过模型开源以提高透明度并建立社区信任。研究人员可以“深入了解”模型以验证其性能、研究可解释性技术、识别潜在风险并协助制定保障措施。公共和私营部门能够针对自己的应用场景调整(「微调」)这些开源模型,且无需共享敏感数据或放弃对 AI 功能的控制权。


  • 可访问性。在设计中考虑到边缘用例,确保日常用户能够在本地设备上运行的模型。利用这些模型,开发人员可以构建与各类常见硬件相兼容的独立应用程序,而无需依赖于少数一、两家企业的专有服务。通过这种方式,AI 的经济利益将被真正分享给广大用户和开发者社区。相较于神秘的闭源模型,更开放、允许细粒度访问和广泛研究的开源模型将为学术社区提供更好的可解释性和安全技术。


  • 支持性。Stability AI 之所以构建模型,是为了向用户提供支持、而非将其取代。Stability AI 专注于打造高效、专业且实用的 AI 性能,而不是追求建立起如神般全知全能的人工智能。Stability AI 开发的工具能够为普通人和普通企业赋能,帮助他们释放创造力、提高生产力并开辟新的经济机会。


这些模型目前已经发布了 Stability AI 的 GitHub 代码仓库上(https://github.com/stability-AI/stableLM/)。


此外,Stability AI 将启动基于人类反馈的强化学习(RLHF)众包计划,并与 Open Assistant 等社区合作,共同为 AI 助手创建一套开源数据集。


参考链接:

https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models

2023-04-21 12:587286
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 570.5 次阅读, 收获喜欢 1979 次。

关注

评论

发布
暂无评论
发现更多内容

浅谈微服务中限流熔断降级的方法论

Java 微服务 限流 熔断降级

宝武中南钢铁借助飞桨让钢筋超限监控有了“火眼金睛”

飞桨PaddlePaddle

百度飞桨 图像分割 PaddleSeg

低代码赋能生物药企数字化

明道云

Midjourney|文心一格prompt教程[Text Prompt(下篇)]:游戏、实物、人物、风景、动漫、邮票、海报等生成,终极模板教学

汀丶人工智能

人工智能 AI绘画 MidJourney 文生图 prompt learning

架构师日记-从代码到设计的性能优化指南 | 京东云技术团队

京东科技开发者

技术架构 京东云 企业号 5 月 PK 榜

腾讯Java大牛整理推荐的(Spring AOP/IOC思维导图源码笔记)

Java spring aop ioc

开源赋能 普惠未来|TencentOS Tiny诚邀您参与2023开放原子全球开源峰会

开放原子开源基金会

一种DWS迁移Oracle的CONNECT BY语法的方案

华为云开发者联盟

数据库 华为云 华为云开发者联盟 企业号 5 月 PK 榜

OpenHarmony Docker移植实践

OpenHarmony开发者

OpenHarmony

Midjourney|文心一格prompt教程[Text Prompt(上篇)]:品牌log、App、徽章、插画、头像场景生成,各种风格选择:科技风、运动风

汀丶人工智能

人工智能 AI绘画 MidJourney 文生图 prompt learning

降低 Spark 计算成本 50.18 %,使用 Kyligence 湖仓引擎构建云原生大数据底座,为计算提速 2x

Kyligence

开源 数据分析

IPP Swap孵化器系统开发之LP算力挖矿模型

薇電13242772558

智能合约 dapp开发

如何让技术架构师具有预知未来业务发展的能力? | 京东云技术团队

京东科技开发者

架构师 京东云 企业号 5 月 PK 榜

用低代码开发平台高效打造仓储管理数字生态

力软低代码开发平台

阿里蚂蚁金服4面面经(已拿Offer)附答案!突如其来的意外之喜

Java你猿哥

Java 算法 ssm 并发 面经

人工智能与大模型主题师资培训落地,飞桨持续赋能AI人才培养

飞桨PaddlePaddle

paddle 百度飞桨

【FAQ】视频编辑服务常见问题及解答

HarmonyOS SDK

HMS Core

三本菜鸟美团二面被源码暴锤,46天狂学Spring,终入阿里

Java你猿哥

面试 Spring Boot sprnig spring aop spring ioc

使用taro+canvas实现微信小程序的图片分享功能 | 京东云技术团队

京东科技开发者

taro 京东云 企业号 5 月 PK 榜

面试必备:四种经典限流算法讲解

Java 算法 限流

美团二面惜败,我的凉经复盘(附学习笔记+面试整理+进阶书籍)

Java你猿哥

MySQL redis Spring Boot 并发编程 JVm虚拟机

阿里云微服务引擎 MSE 全新升级,实用能力更普惠,最高降幅 75%

阿里巴巴云原生

阿里云 云原生 微服务引擎

二面蚂蚁金服(交叉面),已拿Offer,Java岗定级阿里P6

Java你猿哥

Java ssm 并发 java面试 面经

OpenFeign 如何做到 "隔空取物" ?

Java你猿哥

Java Spring Cloud ssm netflix openfeign

开源赋能 普惠未来|百度寄语2023开放原子全球开源峰会

开放原子开源基金会

Springboot 一行代码实现文件上传 20个平台!少写代码到极致

Java你猿哥

Java spring Spring Boot ssm

华为Atlas 200I DK A2开箱!

华为云开发者联盟

人工智能 华为云 华为云开发者联盟 企业号 5 月 PK 榜

GPT大语言模型Vicuna本地化部署实践(效果秒杀Alpaca) | 京东云技术团队

京东科技开发者

AI 京东云 GPT 企业号 5 月 PK 榜

“前端”工匠系列(二):合格的工匠,怎么做好价值落地 | 京东云技术团队

京东科技开发者

技术架构 京东云 企业号 5 月 PK 榜

周家恩:GaussDB(for MySQL)云原生数据库技术演进和挑战

NineData

MySQL 数据库 GaussDB GaussDB(for MySQL) 华为自研数据库

叫板ChatGPT?Stability AI 开源语言大模型 StableLM,参数仅为GPT-3百分之四,却能实现超高性能_AI&大模型_刘燕_InfoQ精选文章