【AICon】AI 基础设施、LLM运维、大模型训练与推理,一场会议,全方位涵盖! >>> 了解详情
写点什么

“火山方舟”MaaS 平台亮相:集成七款大模型,抖音等业务团队已试用

  • 2023-07-03
    北京
  • 本文字数:1830 字

    阅读完需:约 6 分钟

“火山方舟”MaaS平台亮相:集成七款大模型,抖音等业务团队已试用

6 月 28 日,火山引擎发布了大模型服务平台“火山方舟”,面向企业提供模型精调、评测、推理等全方位的平台服务(MaaS,即 Model-as-a-Service)。据悉,目前“火山方舟”集成了百川智能、出门问问、复旦大学 MOSS、IDEA 研究院、澜舟科技、MiniMax、智谱 AI(以拼音首字母排序)等多家 AI 科技公司及科研院所的大模型,并已启动邀测。



对于中国的大模型发展,火山引擎有下面几个关键判断:

 

第一,未来的大模型市场将是一个百花齐放的多模型生态。由于安全信任、行业壁垒和成本等因素,这个生态将同时并行存在几个少数的超大规模的大模型、多个中等规模的大模型和更多个行业的垂直模型。同时,开放的市场竞争和模型多样性又会进一步促进整个技术发展。

 

第二,企业,尤其是行业头部企业,自身对于大模型的应用,将是“1 + N”的应用模式,即:企业通过自研或者与三方模型服务商的深度合作,形成企业自身的一个主力模型;在这个主力模型之外的不同场景中,企业还会同时应用 N 个外部模型。

 

基于以上判断,火山引擎定位于为模型生产端和模型应用端提供底层能力和产品方案,解决计算、安全、成本等通用问题。据悉,火山方舟由以下几个核心部分构成:

 

第一个是模型广场,许多模型提供商会提供不同版本/不同尺寸的模型。企业可以直接与这些模型交互。在火山引擎上可以直接调用推理 API,接入生产环境。适合进行快速分析和 AB 实验。

 

第二个是模型评估。企业要把大模型用好,首先得想好自己的业务需求,并为之设计一套可量化的评估指标,并在不断对比/评估/试验的过程中,积累评估数据、快速迭代。要给多样化的业务场景和业务入口,挑选不同的、最合适的模型。

 

第三个是模型精调。对于要求较高的垂直场景,用户可能需要利用自有数据和领域非公开数据,进行持续训练,并且建设和积累自己的精调数据集。 对精调的良好运用也有益于对更小尺寸模型的利用, 在特定工作上达到逼近通用大模型的水平,由此降低推理成本。火山方舟可以对一个模型或多个基座模型同时发起训练任务,同时实时跟踪模型精调的效果指标和运行情况。

 

第四个是安全和信任机制。据悉,火山大模型服务平台提供了基于安全沙箱、硬件加密和联邦学习的多套大模型安全与信任解决方案。吴迪表示,“火山方舟”还在探索基于 NVIDIA 新一代硬件支持的可信计算环境、基于联邦学习的数据资产分离等多种方式的安全互信计算方案。

 

随着平台不断迭代, 企业对大模型的资源供应将更为弹性/动态和廉价。火山引擎通过流量错峰、训推一体等手段,将进一步降低推理的单位成本。吴迪表示,这也是在大模型时代,上云所带来的重要优势。除此之外, 火山引擎将和大模型提供商联合进行深度的性能优化,包括火山引擎知名的 veLego 优化框架,还包括火山引擎将不断和大模型提供商分享/共创的诸多量化/batching/调度等优化技术。

 

火山引擎总裁谭待认为,除了算法、数据和算力外,企业做大模型还需要考虑以下问题:

 

  • 安全与信任。这里的安全和信任是一种双向信任。大模型服务商除了考虑模型方案和代码不被泄露,也需要考虑到各个应用企业的安全问题,保障企业在调用大模型时自己的 prompt 或精调数据不会被泄露。

  • 性价比。之前大家处于模型研发的早期,更多考虑的是模型预训练阶段的成本问题,但后期模型的推理计算才是成本更高的环节。只有推理成本做到足够低,才能让大模型真正被广泛使用。

  • 生态系统。生成式模型并不知道自己擅长什么、不擅长什么,需要我们告诉他们自己的优劣势,并且在他们不擅长的地方为其提供下游的模型、API 和插件,帮助他们更好地解决问题,帮助大模型“长出手和脚”。

 

火山引擎智能算法负责人吴迪表示,与其他很多云厂商单纯提供算力、基础底座不同,火山方舟平台一方面会在资源和优化方面跟模型提供商进行非常深度的合作,长期致力于降低推理成本,另一方面,火山算法团队会和客户做重点的应用共建和应用落地,催化整个大模型、大算力在千行百业的落地速度。

 

据悉,抖音集团内部已有十多个业务团队试用“火山方舟”,在代码纠错等研发提效场景,文本分类、总结摘要等知识管理场景,以及数据标注、归因分析等方面进行探索,利用大模型能力促进降本增效。这些内部实践也在快速打磨“火山方舟”,推动平台能力的进一步完善。“火山方舟”的首批邀测企业还包括金融、汽车、消费等众多行业的客户。

 

谭待坦言,“火山方舟”还在起步阶段,工具链和下游应用插件需要持续完善,平台还将接入更多大模型,并逐步扩大邀测范围,与企业客户共建开放合作的多模型生态,加速大模型在各行各业的应用落地。

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2023-07-03 16:182794

评论

发布
暂无评论
发现更多内容

JS代码混淆器:iPaGuard — 让你的代码看起来令人头大

小程序技术实现前端热更新的优势

FinFish

小程序容器 小程序技术 小程序热更新 小程序运行能力

使用 TypeScript 从零搭建自己的 Web 框架:AOT 编译

RoyLin

typescript

腾讯音乐:说说Redis脑裂问题?

王磊

Java 面试

2024九章云极DataCanvas智算操作系统新品发布会震撼来袭!

九章云极DataCanvas

这些Git事故灾难, 你经历过几个?

前夕

git 面试 前端 后端 版本控制

使用 TypeScript 从零搭建自己的 Web 框架:大语言模型与 SSE

RoyLin

typescript

如何使用KPI评估研发项目

PingCode

KPI 绩效指标 项目研发

从零基础到精通,抓包神器fiddler保姆级使用教程(一)

霍格沃兹测试开发学社

Docker从入门到精通:Docker镜像相关命令学习

霍格沃兹测试开发学社

enkins如何请求http接口及乱码问题解决

百度搜索:蓝易云

云计算 Linux 运维 HTTP jenkins

SQLServer如何获取客户端IP

百度搜索:蓝易云

sql 云计算 Linux 运维 IP

Qualcomm Chip IPQ9574/IPQ9554 and QCN9074/QCN6024-The Wireless Miracles

wifi6-yiyi

WiFi7

深入了解 Docker:革命性的容器化技术

霍格沃兹测试开发学社

centos下安装jenkins.war

百度搜索:蓝易云

Java Linux centos 运维 jenkins

零基础到精通,Postman安装使用教程(一)

霍格沃兹测试开发学社

哨兵模式的悲和喜

算法的秘密

体育赛事直播平台开发:为何推荐这家源码

软件开发-梦幻运营部

PPTX文件怎么打开?2个技巧助你轻松搞定职场办公!

彭宏豪95

效率工具 PPT 在线白板 PPT模板 办公软件

鸿蒙HarmonyOS实战-ArkUI组件(RelativeContainer)

蜀道山

鸿蒙 HarmonyOS 鸿蒙开发 arkui ArkTS

发现不测的秘密:测试中常忽视的重要方面

测吧(北京)科技有限公司

测试

IPAguard–iOS代码混淆工具(免费)

雪奈椰子

《SQL必知必会(第5版)》PDF

程序员李木子

Logstash同步MySQL数据到ElasticSearch

百度搜索:蓝易云

MySQL elasticsearch Linux 运维 Logstash

RUM 最佳实践-视觉稳定性的探索与实践

观测云

前端

Docker从入门到精通:ubuntu系统安装docker

霍格沃兹测试开发学社

Debian下dpkg-query命令怎么用

百度搜索:蓝易云

云计算 Linux 运维 云服务器 Debian

面试宝典

Joseph295

提高 RAG 应用准确度,时下流行的 Reranker 了解一下?

Zilliz

Zilliz rag reranker

腾讯会议发布腾讯天籁inside3.0,为厂商提供AI音视频算法解决方案

Geek_2d6073

ChatGPT4.5:能力大提升,全新体验

蓉蓉

openai ChatGPT GPT-4

“火山方舟”MaaS平台亮相:集成七款大模型,抖音等业务团队已试用_生成式 AI_褚杏娟_InfoQ精选文章