AI 年度盘点与2025发展趋势展望,50+案例解析亮相AICon 了解详情
写点什么

“火山方舟”MaaS 平台亮相:集成七款大模型,抖音等业务团队已试用

  • 2023-07-03
    北京
  • 本文字数:1830 字

    阅读完需:约 6 分钟

“火山方舟”MaaS平台亮相:集成七款大模型,抖音等业务团队已试用

6 月 28 日,火山引擎发布了大模型服务平台“火山方舟”,面向企业提供模型精调、评测、推理等全方位的平台服务(MaaS,即 Model-as-a-Service)。据悉,目前“火山方舟”集成了百川智能、出门问问、复旦大学 MOSS、IDEA 研究院、澜舟科技、MiniMax、智谱 AI(以拼音首字母排序)等多家 AI 科技公司及科研院所的大模型,并已启动邀测。



对于中国的大模型发展,火山引擎有下面几个关键判断:

 

第一,未来的大模型市场将是一个百花齐放的多模型生态。由于安全信任、行业壁垒和成本等因素,这个生态将同时并行存在几个少数的超大规模的大模型、多个中等规模的大模型和更多个行业的垂直模型。同时,开放的市场竞争和模型多样性又会进一步促进整个技术发展。

 

第二,企业,尤其是行业头部企业,自身对于大模型的应用,将是“1 + N”的应用模式,即:企业通过自研或者与三方模型服务商的深度合作,形成企业自身的一个主力模型;在这个主力模型之外的不同场景中,企业还会同时应用 N 个外部模型。

 

基于以上判断,火山引擎定位于为模型生产端和模型应用端提供底层能力和产品方案,解决计算、安全、成本等通用问题。据悉,火山方舟由以下几个核心部分构成:

 

第一个是模型广场,许多模型提供商会提供不同版本/不同尺寸的模型。企业可以直接与这些模型交互。在火山引擎上可以直接调用推理 API,接入生产环境。适合进行快速分析和 AB 实验。

 

第二个是模型评估。企业要把大模型用好,首先得想好自己的业务需求,并为之设计一套可量化的评估指标,并在不断对比/评估/试验的过程中,积累评估数据、快速迭代。要给多样化的业务场景和业务入口,挑选不同的、最合适的模型。

 

第三个是模型精调。对于要求较高的垂直场景,用户可能需要利用自有数据和领域非公开数据,进行持续训练,并且建设和积累自己的精调数据集。 对精调的良好运用也有益于对更小尺寸模型的利用, 在特定工作上达到逼近通用大模型的水平,由此降低推理成本。火山方舟可以对一个模型或多个基座模型同时发起训练任务,同时实时跟踪模型精调的效果指标和运行情况。

 

第四个是安全和信任机制。据悉,火山大模型服务平台提供了基于安全沙箱、硬件加密和联邦学习的多套大模型安全与信任解决方案。吴迪表示,“火山方舟”还在探索基于 NVIDIA 新一代硬件支持的可信计算环境、基于联邦学习的数据资产分离等多种方式的安全互信计算方案。

 

随着平台不断迭代, 企业对大模型的资源供应将更为弹性/动态和廉价。火山引擎通过流量错峰、训推一体等手段,将进一步降低推理的单位成本。吴迪表示,这也是在大模型时代,上云所带来的重要优势。除此之外, 火山引擎将和大模型提供商联合进行深度的性能优化,包括火山引擎知名的 veLego 优化框架,还包括火山引擎将不断和大模型提供商分享/共创的诸多量化/batching/调度等优化技术。

 

火山引擎总裁谭待认为,除了算法、数据和算力外,企业做大模型还需要考虑以下问题:

 

  • 安全与信任。这里的安全和信任是一种双向信任。大模型服务商除了考虑模型方案和代码不被泄露,也需要考虑到各个应用企业的安全问题,保障企业在调用大模型时自己的 prompt 或精调数据不会被泄露。

  • 性价比。之前大家处于模型研发的早期,更多考虑的是模型预训练阶段的成本问题,但后期模型的推理计算才是成本更高的环节。只有推理成本做到足够低,才能让大模型真正被广泛使用。

  • 生态系统。生成式模型并不知道自己擅长什么、不擅长什么,需要我们告诉他们自己的优劣势,并且在他们不擅长的地方为其提供下游的模型、API 和插件,帮助他们更好地解决问题,帮助大模型“长出手和脚”。

 

火山引擎智能算法负责人吴迪表示,与其他很多云厂商单纯提供算力、基础底座不同,火山方舟平台一方面会在资源和优化方面跟模型提供商进行非常深度的合作,长期致力于降低推理成本,另一方面,火山算法团队会和客户做重点的应用共建和应用落地,催化整个大模型、大算力在千行百业的落地速度。

 

据悉,抖音集团内部已有十多个业务团队试用“火山方舟”,在代码纠错等研发提效场景,文本分类、总结摘要等知识管理场景,以及数据标注、归因分析等方面进行探索,利用大模型能力促进降本增效。这些内部实践也在快速打磨“火山方舟”,推动平台能力的进一步完善。“火山方舟”的首批邀测企业还包括金融、汽车、消费等众多行业的客户。

 

谭待坦言,“火山方舟”还在起步阶段,工具链和下游应用插件需要持续完善,平台还将接入更多大模型,并逐步扩大邀测范围,与企业客户共建开放合作的多模型生态,加速大模型在各行各业的应用落地。

2023-07-03 16:184210

评论

发布
暂无评论
发现更多内容

Golang Gin 框架之中间件(六)

liuzhen007

28天写作 12月日更

2.《重学JAVA》--初探JAVA

杨鹏Geek

「Java 25周年」 28天写作 12月日更

复制流动改变世界

mtfelix

28天写作

一图看懂软件缺陷检查涉及的内容

Tom(⊙o⊙)

软件安全 静态代码检查

『新华报』秒速飞艇开奖结果官网[手机乐乎]

天马行空

秒速飞艇开奖结果官网

在线蚂蚁文,菊花文生成工具

入门小站

工具

《深入理解JVM虚拟机》第三章 垃圾收集器与内存分配策略

Joseph295

新知识的地图绘制

Nydia

圣迪

举重若轻流水行云,前端纯CSS3实现质感非凡的图片Logo鼠标悬停(hover)光泽一闪而过的光影特效

刘悦的技术博客

CSS html css3 LOGO HTML5, CSS3

Prometheus Exporter (十六)Microsoft SQL Server Exporter

耳东@Erdong

microsoft Prometheus 28天写作 exporter 12月日更

架构训练营模块一作业

沈益飞

「架构实战营」

请清晰沟通选题-从策略层面定义技术演讲

将军-技术演讲力教练

现实扭曲力场引论

Justin

群体心理学 28天写作 玄学

用错误的动作,让正确的事情发生(3/28)

赵新龙

28天写作

linux重要的目录之proc和dev目录

入门小站

Linux

不懂这五项权力,做什么项目经理

Ian哥

项目管理 28天写作 五项权力

趣谈“链路追踪组件” Skywalking 和 PinPoint

悟空聊架构

链路追踪 Skywalking 28天写作 悟空聊架构 12月日更

『新华报』重庆试试彩官方平台[手机乐乎]

天马行空

重庆试试彩官方平台

『新华报』赛车飞艇群[手机乐乎]

天马行空

赛车飞艇群

mongodb出现重复id怎么办?

喵叔

28天写作 12月日更

『新华报』北京飞艇赛车微信群[手机乐乎]

天马行空

北京飞艇赛车微信群

『新华报』飞艇开奖结果官网[手机乐乎]

天马行空

飞艇开奖结果官网

Prometheus Exporter (十五)PostgreSQL Server Exporter

耳东@Erdong

Prometheus postgres 28天写作 exporter 12月日更

『新华报』一分飞艇怎么操作的[手机乐乎]

天马行空

一分飞艇怎么操作的

『新华报』回血上岸导师[手机乐乎]

天马行空

回血上岸导师

『新华报』秒速飞艇开奖[手机乐乎]

天马行空

秒速飞艇开奖

『新华报』飞艇分析工具[手机乐乎]

天马行空

飞艇分析工具

Java应用线上事故排查实战

JavaEdge

内容合集 签约计划第二季

架构实战营 - 毕业设计

en

#架构实战营

架构实战营 - 毕业总结

en

#架构实战营

“火山方舟”MaaS平台亮相:集成七款大模型,抖音等业务团队已试用_生成式 AI_褚杏娟_InfoQ精选文章