【AICon】AI 基础设施、LLM运维、大模型训练与推理,一场会议,全方位涵盖! >>> 了解详情
写点什么

阿里云已支持 Llama2 全系列训练部署,助力企业快速打造专属大模型

  • 2023-07-25
    北京
  • 本文字数:1042 字

    阅读完需:约 3 分钟

阿里云已支持 Llama2 全系列训练部署,助力企业快速打造专属大模型

近日, Llama2 大语言模型宣布开源,覆盖 70 亿、 130 亿及 700 亿参数版本。 Llama2 可免费用于研究场景和月活 7 亿用户以下的商业场景,为企业和开发者提供了大模型研究的新工具。然而,对 Llama2 的再训练和部署仍存在较高门槛,尤其是针对效果更胜一筹的大尺寸版本。

 

为方便开发者群体,阿里云机器学习平台 PAI 在国内率先对 Llama2 系列模型进行深度适配,推出了轻量级微调、全参数微调、推理服务等场景的最佳实践方案,助力开发者快速基于 Llama2 进行再训练,搭建自己的专属大模型。



阿里云牵头发起的 AI 模型社区魔搭 ModelScope ,第一时间上架了 Llama2 系列模型。开发者可在魔搭社区 Llama2 模型页面点击“ Notebook 快速开发”,一键拉起阿里云机器学习平台 PAI ,对模型进行云上开发和部署;在其他平台下载的 Llama2 模型,也可使用阿里云 PAI 进行开发。



针对特殊的场景需求,开发者往往需使用微调训练的方法对模型进行“调整”,以获得特定领域的专业能力和知识。此时, PAI 支持开发者在云上进行轻量级 Lora 微调或更深度的全参数微调。完成模型微调后, PAI 支持开发者通过 Web UI 及 API 的方式部署 Llama2 ,使模型可以通过网页或嵌入应用与使用者交互。

 


相比本地单机训练 Llama2 ,在阿里云上可完成对超大尺寸模型的深度开发,且预置环境免运维,操作简单便捷,同时开发者可获得丰富的 AI 计算资源和极致弹性。本地单卡 GPU 只能完成 Llama2 70 亿 参数版本的轻量级 Lora 微调和推理,更大尺寸版本及更深度训练均很难支撑。在阿里云上,通过 PAI 灵骏智算服务提供的分布式计算能力,可对 Llama2 全尺寸版本进行轻量级和全参数微调,并进行高效部署和推理。


作为全球前三、亚洲第一的云厂商,阿里云是中国 AI 浪潮重要的引领者和服务者,已构建完备的 IaaS+PaaS+MaaS 一体化 AI 服务。在基础设施层,阿里云拥有国内最强的智能算力储备,灵骏智算集群具备最大十万卡 GPU 规模扩展性,可承载多个万亿参数大模型同时在线训练;在 AI 平台层,阿里云机器学习平台 PAI 提供 AI 开发全流程的工程能力, PAI 灵骏智算服务支撑了通义千问等超大模型的训练和应用,可将大模型训练性能提高近 10 倍,推理效率提升 37 %;在模型服务层,阿里云构建了国内最活跃的 AI 模型社区魔搭,并支持企业基于通义千问或三方大模型进行再训练。



今年 7 月初,阿里云宣布,将把促进中国大模型生态的繁荣作为首要目标,向大模型创业公司提供包括模型训练、推理、部署、精调、测评、产品化落地等在内的全方位服务,并在资金和商业化探索方面提供充分支持。

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2023-07-25 17:235827
用户头像
赵钰莹 InfoQ 主编

发布了 875 篇内容, 共 606.4 次阅读, 收获喜欢 2671 次。

关注

评论

发布
暂无评论
发现更多内容

英特尔谢晓清:开源是软件发展趋势

E科讯

融云CTO任杰:强互动,RTC下一个“爆点”场景

融云 RongCloud

Cilium 首次集成国内云服务,阿里云 ENI 被纳入新版本特性

阿里巴巴云原生

容器 运维 云原生

华为实习结束后,鹅厂和字节跳动递来的offer让我手足无措

Java 程序员 架构 面试

酱香型白酒怎么选?唐庄酒告诉你答案

Geek_50a546

美联储最新货币政策,将如何影响比特币市场?

CECBC

[译] R8 优化: 字符串操作

Antway

6月日更

融云发布语聊房SDK 1.0 & Demo 满足开发者开箱即用需求

融云 RongCloud

唐庄酒业的酒好喝吗?纯粮酿造好味道

Geek_50a546

BZZ云算力挖矿系统开发案例

零售的私域「留量」时代,SaaS的「服务」未来

ToB行业头条

四川比特币矿机或全线关机,矿工跟矿机说:Bye,See you

CECBC

索信达控股:解析索信达模型管理利器

索信达控股

大数据 模型 风险管理 智能 数据管理平台

Mysql是如何选择主键的

架构精进之路

MySQL 6月日更 主键

联邦学习这件小事(二)

趣链科技

区块链 隐私保护 加密技术 联邦计算

年份白酒推荐 商务聚会我选唐庄五星酒

Geek_50a546

从字节跳动到火山引擎(三):替换 Spring Cloud,使用基于 Cloud Native 的服务治理

字节跳动 微服务 云原生 Spring Cloud 火山引擎

进击的云原生,为开发者提供更多可能性

阿里巴巴云原生

ZGC 新特性

meacial

Java ZGC JVM 软件开发

Redis套路,一网打尽

Coder的技术之路

redis 缓存 面试

细节爆炸!阿里企业级Spring Security机密文档

Java 程序员 架构 面试 微服务

2021春招面试经历,阿里3轮技术面+交叉3面(已成功拿到offer)

Java 程序员 架构 面试

利用 iOS 14 Vision 的手势估测功能 实作无接触即可滑动的 Tinder App

iOSer

ios ios开发 iOS 14 Vision Tinder App

1.5w字 + 24张图肝翻 TCP

cxuan

TCP 大前端 后端 计算机网络

数字人民币对地铁App的影响分析

CECBC

案例 | 低代码助力生产制造业,扫平数字化升级“死角”!

优秀

低代码 生产管理系统

我试了试用 SQL查 Linux日志,好用到飞起

程序员小富

Java Linux 日志

蚂蚁金服内部的Spring Cloud Alibaba手册,面面俱到,太全了

Java 程序员 架构 面试 微服务

从字节跳动到火山引擎(二):私有云 PaaS 场景下的 Kubernetes 集群部署实践

字节跳动 云原生 #Kubernetes# 火山引擎

并发王者课-铂金4:令行禁止-为何说信号量是线程间的同步利器

MetaThoughts

Java 多线程 并发

微信小游戏直播在Android端的跨进程渲染推流实践

JackJiang

微信 即时通讯 直播技术

阿里云已支持 Llama2 全系列训练部署,助力企业快速打造专属大模型_AI&大模型_赵钰莹_InfoQ精选文章