写点什么

阿里云已支持 Llama2 全系列训练部署,助力企业快速打造专属大模型

  • 2023-07-25
    北京
  • 本文字数:1042 字

    阅读完需:约 3 分钟

阿里云已支持 Llama2 全系列训练部署,助力企业快速打造专属大模型

近日, Llama2 大语言模型宣布开源,覆盖 70 亿、 130 亿及 700 亿参数版本。 Llama2 可免费用于研究场景和月活 7 亿用户以下的商业场景,为企业和开发者提供了大模型研究的新工具。然而,对 Llama2 的再训练和部署仍存在较高门槛,尤其是针对效果更胜一筹的大尺寸版本。

 

为方便开发者群体,阿里云机器学习平台 PAI 在国内率先对 Llama2 系列模型进行深度适配,推出了轻量级微调、全参数微调、推理服务等场景的最佳实践方案,助力开发者快速基于 Llama2 进行再训练,搭建自己的专属大模型。



阿里云牵头发起的 AI 模型社区魔搭 ModelScope ,第一时间上架了 Llama2 系列模型。开发者可在魔搭社区 Llama2 模型页面点击“ Notebook 快速开发”,一键拉起阿里云机器学习平台 PAI ,对模型进行云上开发和部署;在其他平台下载的 Llama2 模型,也可使用阿里云 PAI 进行开发。



针对特殊的场景需求,开发者往往需使用微调训练的方法对模型进行“调整”,以获得特定领域的专业能力和知识。此时, PAI 支持开发者在云上进行轻量级 Lora 微调或更深度的全参数微调。完成模型微调后, PAI 支持开发者通过 Web UI 及 API 的方式部署 Llama2 ,使模型可以通过网页或嵌入应用与使用者交互。

 


相比本地单机训练 Llama2 ,在阿里云上可完成对超大尺寸模型的深度开发,且预置环境免运维,操作简单便捷,同时开发者可获得丰富的 AI 计算资源和极致弹性。本地单卡 GPU 只能完成 Llama2 70 亿 参数版本的轻量级 Lora 微调和推理,更大尺寸版本及更深度训练均很难支撑。在阿里云上,通过 PAI 灵骏智算服务提供的分布式计算能力,可对 Llama2 全尺寸版本进行轻量级和全参数微调,并进行高效部署和推理。


作为全球前三、亚洲第一的云厂商,阿里云是中国 AI 浪潮重要的引领者和服务者,已构建完备的 IaaS+PaaS+MaaS 一体化 AI 服务。在基础设施层,阿里云拥有国内最强的智能算力储备,灵骏智算集群具备最大十万卡 GPU 规模扩展性,可承载多个万亿参数大模型同时在线训练;在 AI 平台层,阿里云机器学习平台 PAI 提供 AI 开发全流程的工程能力, PAI 灵骏智算服务支撑了通义千问等超大模型的训练和应用,可将大模型训练性能提高近 10 倍,推理效率提升 37 %;在模型服务层,阿里云构建了国内最活跃的 AI 模型社区魔搭,并支持企业基于通义千问或三方大模型进行再训练。



今年 7 月初,阿里云宣布,将把促进中国大模型生态的繁荣作为首要目标,向大模型创业公司提供包括模型训练、推理、部署、精调、测评、产品化落地等在内的全方位服务,并在资金和商业化探索方面提供充分支持。

2023-07-25 17:236670
用户头像
赵钰莹 极客邦科技 总编辑

发布了 934 篇内容, 共 721.7 次阅读, 收获喜欢 2717 次。

关注

评论

发布
暂无评论
发现更多内容

第一课作业纠正

杰语

今年我读了四个开源项目的源码,来分享下心得

yes

源码

如何从零开始学Python:(4)如何处理列表数据?

广之巅

Python 4月日更

pdf.js使用小结

空城机

大前端 4月日更 pdf.js

HBase HA 分布式部署

Fong

大数据 运维 HBase hadoop3

如何做好前馈管理?

石云升

28天写作 职场经验 管理经验 4月日更

《采访阿里“守护神”吴翰清:安全攻防-采访提纲》

Geek_6370d5

Spring Boot 两行代码轻松实现国际化

Java架构师迁哥

⼤规模短⽂本聚类的设计和实践

百度Geek说

聚类 query 内聚

企业架构设计方法TOGAF介绍

joinM

企业架构 技术架构 业务架构 TOGAF 技术与业务

重读《重构2》- 以对象取代基本类型

顿晓

重构 4月日更

toB SaaS会成为苏州下⼀个“⼀号产业”么?

龙归科技

数字化 tob

灰度发布系统架构设计

xcbeyond

微服务 灰度发布 4月日更

Properties类使用需要注意的坑

风翱

properties 4月日更

【采访融云CTO杨攀:2021如何让融云迈向更高舞台】(采访)

码界西柚

融云 杨攀

翻译:《实用的Python编程》TheEnd

codists

Python

不忘初心,砥砺前行|暨InfoQ写作平台一周年

程序员架构进阶

28天写作 4月日更 1 周年盛典 我和写作平台的故事 InfoQ 写作平台 1 周年

MySQL 表列数和行大小有哪些限制?

李尚智

MySQL 运维

我是如何开始写作的

happlyfox

个人成长 4月日更 1 周年盛典

双非渣硕!四面阿里收到offer后,才发现学长给的面试笔记有多强大

Java 编程 程序员 面试 计算机

阿里资深技术专家崮德:如何成就更好的自己

阿里巴巴中间件

skywalking dubbo agent 分析

kaiwen

Android Crash监控方式

Darren

监控 异常检测 Android开发 NativeCrash

python内置数据结构list、set、dict、tuple(一)

若尘

List 数据结构 set 字典 Python编程

混合云安全简史

龙归科技

混合云

联盟链技术

360技术

Spring Boot 2.0 实现优雅停机

U2647

Spring Boot 4月日更

全网最强的权限系统设计攻略:京东北极星商业系统权限管控实践

学Java关注我

Java 编程 程序员 架构 技术宅

DBA 行业是否将会消亡?

BinTools图尔兹

运维 dba 数据库管理工具

用户故事是垂直的切片(译)

Bruce Talk

敏捷 译文 Agile User Story

用户故事拆分招数全景图(译)

Bruce Talk

敏捷 译文 Agile User Story

阿里云已支持 Llama2 全系列训练部署,助力企业快速打造专属大模型_AI&大模型_赵钰莹_InfoQ精选文章