写点什么

阿里云已支持 Llama2 全系列训练部署,助力企业快速打造专属大模型

  • 2023-07-25
    北京
  • 本文字数:1042 字

    阅读完需:约 3 分钟

阿里云已支持 Llama2 全系列训练部署,助力企业快速打造专属大模型

近日, Llama2 大语言模型宣布开源,覆盖 70 亿、 130 亿及 700 亿参数版本。 Llama2 可免费用于研究场景和月活 7 亿用户以下的商业场景,为企业和开发者提供了大模型研究的新工具。然而,对 Llama2 的再训练和部署仍存在较高门槛,尤其是针对效果更胜一筹的大尺寸版本。

 

为方便开发者群体,阿里云机器学习平台 PAI 在国内率先对 Llama2 系列模型进行深度适配,推出了轻量级微调、全参数微调、推理服务等场景的最佳实践方案,助力开发者快速基于 Llama2 进行再训练,搭建自己的专属大模型。



阿里云牵头发起的 AI 模型社区魔搭 ModelScope ,第一时间上架了 Llama2 系列模型。开发者可在魔搭社区 Llama2 模型页面点击“ Notebook 快速开发”,一键拉起阿里云机器学习平台 PAI ,对模型进行云上开发和部署;在其他平台下载的 Llama2 模型,也可使用阿里云 PAI 进行开发。



针对特殊的场景需求,开发者往往需使用微调训练的方法对模型进行“调整”,以获得特定领域的专业能力和知识。此时, PAI 支持开发者在云上进行轻量级 Lora 微调或更深度的全参数微调。完成模型微调后, PAI 支持开发者通过 Web UI 及 API 的方式部署 Llama2 ,使模型可以通过网页或嵌入应用与使用者交互。

 


相比本地单机训练 Llama2 ,在阿里云上可完成对超大尺寸模型的深度开发,且预置环境免运维,操作简单便捷,同时开发者可获得丰富的 AI 计算资源和极致弹性。本地单卡 GPU 只能完成 Llama2 70 亿 参数版本的轻量级 Lora 微调和推理,更大尺寸版本及更深度训练均很难支撑。在阿里云上,通过 PAI 灵骏智算服务提供的分布式计算能力,可对 Llama2 全尺寸版本进行轻量级和全参数微调,并进行高效部署和推理。


作为全球前三、亚洲第一的云厂商,阿里云是中国 AI 浪潮重要的引领者和服务者,已构建完备的 IaaS+PaaS+MaaS 一体化 AI 服务。在基础设施层,阿里云拥有国内最强的智能算力储备,灵骏智算集群具备最大十万卡 GPU 规模扩展性,可承载多个万亿参数大模型同时在线训练;在 AI 平台层,阿里云机器学习平台 PAI 提供 AI 开发全流程的工程能力, PAI 灵骏智算服务支撑了通义千问等超大模型的训练和应用,可将大模型训练性能提高近 10 倍,推理效率提升 37 %;在模型服务层,阿里云构建了国内最活跃的 AI 模型社区魔搭,并支持企业基于通义千问或三方大模型进行再训练。



今年 7 月初,阿里云宣布,将把促进中国大模型生态的繁荣作为首要目标,向大模型创业公司提供包括模型训练、推理、部署、精调、测评、产品化落地等在内的全方位服务,并在资金和商业化探索方面提供充分支持。

2023-07-25 17:236340
用户头像
赵钰莹 极客邦科技 总编辑

发布了 894 篇内容, 共 681.0 次阅读, 收获喜欢 2694 次。

关注

评论

发布
暂无评论
发现更多内容

详解React的Transition工作原理原理

夏天的味道123

React

龙蜥理事长马涛荣获 “2022 年度开源人物”

OpenAnolis小助手

开源 操作系统 龙蜥社区 理事长 2022云栖大会

OpenHarmony集成OCR三方库实现文字提取

OpenHarmony开发者

OpenHarmony

数据中台选型必读(五):中台建设本质就是构建企业的公共数据层

雨果

数据中台

软件测试丨测试大咖漫谈如何搞定软件质量?

测试人

软件测试 软件质量 自动化测试 测试开发

会用postman不算牛,会用Eolink才是真的牛

陈橘又青

API

经常被问到的react-router实现原理详解

夏天的味道123

React

可防离职员工冒用身份,合合信息名片全能王与钉钉用数字名片打造安全“围栏”

合合技术团队

人工智能 大数据 钉钉 合合信息 名片

如何使用ModelBox快速提升AI应用性能

华为云开发者联盟

人工智能 华为云 ModelBox

质量评估模型助力风险决策水平提升

百度Geek说

机器学习 企业号十月 PK 榜 智能测试 质量评估模型

解读数仓常用模糊查询的优化方法

华为云开发者联盟

数据库 后端 华为云

国产数据库肇始之独具特色的场景需求

亚信AntDB数据库

数据库 AntDB 国产数据库 AntDB数据库

vue实战-完全掌握Vue自定义指令

yyds2026

Vue

技术分享| Etcd如何实现分布式负载均衡及分布式通知与协调

anyRTC开发者

分布式 etcd 通知 式负载均衡 协调

引迈信息低代码怎么样?靠谱吗?

优秀

低代码 低代码平台

Linux系统保存文件命令的详细介绍

源字节1号

软件开发 前端开发 后端开发 小程序开发

vue实战中的一些小技巧

yyds2026

Vue

字节跳动基于ClickHouse优化实践之“资源隔离”

字节跳动数据平台

大数据 Clickhouse

【docker】导入镜像报错磁盘空间不足的解决方法 && 【docker】修改默认的存储路径

A-刘晨阳

Docker Linux 运维 11月月更

阿里 CTO 程立:今年双 11,全面深度用云

云布道师

云计算 阿里巴巴 天猫

一汽集团数字化转型细节分析:明确如何转型事半功倍

雨果

数字化转型

传统 Web 框架部署与迁移

阿里巴巴云原生

阿里云 Serverless 云原生

Apache EventMesh事件驱动分布式运行时

EventMesh布道师

Serverless Faas EDA workflow eventmesh

启科量子 QuSprout 或将启动开源计划

启科量子开发者官方号

人工智能 框架 算力 超算 #量子计算

商业智能工具BI口碑解读:Quick BI为何连续入选魔力象限?

夏日星河

大麦 Android 选座场景性能优化全解析

阿里巴巴终端技术

android 性能优化 客户端

Linux系统中CPU占用率较高问题排查思路与解决方法

A-刘晨阳

Linux 运维 cpu 11月月更

详细解读 React useCallback & useMemo

夏天的味道123

React

wallys-WiFi-5-outdoor-Access-point-IPQ4019/4029-industrial wireless AP

Cindy-wallys

IPQ4019 ipq4029

vue实战-深入响应式数据原理

yyds2026

Vue

阿里云已支持 Llama2 全系列训练部署,助力企业快速打造专属大模型_AI&大模型_赵钰莹_InfoQ精选文章