阿里云「飞天发布时刻」2024来啦!新产品、新特性、新能力、新方案,等你来探~ 了解详情
写点什么

金山云升级全栈云计算体系,全方位承接大模型应用

  • 2024-02-01
    北京
  • 本文字数:2469 字

    阅读完需:约 8 分钟

大小:1.25M时长:07:18
金山云升级全栈云计算体系,全方位承接大模型应用

随着云原生、AIGC、大模型等新兴技术的迅速发展,智能化时代开启。云计算也正全面步入 3.0 时代,即云计算和人工智能深度融合的阶段。在这个阶段,人工智能技术成为云计算进一步释放潜力的核心推动力。

 

近日,金山云举办了「云+人工智能·时代新机遇」媒体沟通会,金山云副总裁钱一峰、金山云公有云产品中心负责人孙晓、金山云人工智能与大数据产品中心负责人徐寅斐在会上分享了金山云在基础能力、平台能力和模型服务等方面的技术历程和落地实践。通过技术自研和升级,金山云已初步建成人工智能时代民用领域全栈的云计算体系。

 

夯实基础,全面升级人工智能服务能力

 

全球数字化浪潮风起云涌,云计算作为数字经济重要的支撑基础,正发挥越来越重要的作用。其中,智能化作为云计算 3.0 时代的重要理念,已成为数字基础设施升级的重要驱动力。知名调研机构 IDC 于 2023 年发布的报告显示,未来 5 年,以大模型、生成式人工智能驱动的下一代人工智能有望带动整体云产业穿过下行阶段,重回高增长时代。

 

顺应趋势,金山云深入探索前沿技术,围绕 AIGC 升级核心计算、存储、网络等产品,从多个维度全面拥抱人工智能。

 

金山云副总裁钱一峰强调,在此次技术升级中,在网络上采用了目前业界流行的高性能 RoCE 网络。在成本方面,同样的集群如果采用 IB 网络,网络本身的成本几乎占整个算力群的一半,如果用 RoCE 网络,只占 5%到 10%,所以国内很多大厂都在往 RoCE 网络转,金山也是如此。

 

在计算方面,金山云第七代云服务器 X7 搭载第四代英特尔®至强®可扩展处理器、支持英特尔® AMX 原生加速能力,CPU 性能较上代最高提升 60%,内存升级至 DDR5,频率较上一代性能提升 50%。融合金山云自主创新的加速技术,云服务器 X7 可有效提升模型推理性能。

 

根据数据从极热到极冷的不同热度,金山云对象存储已覆盖标准存储、低频存储、深度低频存储、归档存储、深度冷归档存储和全闪存储等不同访问热度的存储产品。其中,金山云对象存储 KS3 极速型最高可提供 1Tbps/PB 的兑付带宽,相较基于机械硬盘(HDD)的对象存储性能提升了上百倍,能为 AIGC、存算分离和高性能计算等场景提供强有力的存储解决方案。

 

在底层技术基础上,金山云此次升级还新增了金山轻舟智问以及一些合作的商业模型。

 

一直以来,业内有一种观点认为一个大模型就解决所有问题,因为所有人都可以去调用大模型的 API,但根据用户的反馈和场景需求来看,把所有问题都扔给一个大模型去解决是非常昂贵的,更经济的做法是将不同的场景用不同规模的模型去解决。将这些平台打包在一起,可以为客户提供一个综合性价比最高的解决方案。

 

过去这一年,金山云一直在做两件事——夯实基础和做长长板。在云计算方上重点打磨四大基础能力:速度快、性能好、成本低、稳定易用;而做长长板找增量则体现在金山云在混合云、分布式云上的很多创新。

 

具体而言,在在公有云的核心产品上第一要做到一切皆标准,提升用云效率。第二,要做到软硬结合,最大限度提升客户用云性价比。

 

在混合云方面,客户拥有专属区或者专属集群,这既让客户拥有了云下的独立,又能让其享受云上的规模红利和弹性。

 

此外,在 Serverless 化上也有了新进展。Serverless 化过去是局限在算力层面,但随着存算分离场景的流行已经渗透到 PaaS 层面,如今 MySQL 也已经做到了 Serverless 化,另外也引入了开源向量数据库。

 

面向大模型应用场景,金山云推出互信虚拟私有网络(简称“互信 VPC”),解决模型厂商和应用厂商互信的问题。相对于标准 VPC,互信 VPC 对进出 VPC 的通信行为有着更为严格的控制,帮助客户解决合规和互信问题。针对 HTTP、HTTPS 等应用层负载场景,公司推出应用型负载均衡 ALB(Application Load Balancer),单实例最大支持 100 万 QPS。与云原生场景融合,客户在使用金山云容器服务 KCE 产品或自建 K8S 集群时,ALB 都可作为 Ingress 部署,为业务提供网络流量调度服务。

勇立潮头,做大模型助力者

2023 年被称为大模型“元年”。公开数据显示,从年初到年末,国内大模型数量超过 200 个。与“大模型”数量呈倍数级增长相反的是,真正被调用的大模型却相对较少。在本次大模型浪潮中,金山云坚持中立定位,充分发挥自身的底座和平台能力,做大模型的助力者。

 

在洞察到模型供需方的痛点后,金山云于去年 6 月率先推出 MaaS 互信推理专区方案(以下简称“MaaS 1.0”),在大模型厂商、用户和金山云之间建立互信,以解决模型及数据的互信问题。本次沟通会上,金山云发布 MaaS 互信推理专区方案 2.0(以下简称“MaaS 2.0”)。

 

在 MaaS 1.0 基础上,MaaS 互信推理专区方案 2.0 以金山云 IaaS 和 PaaS 为底座,可实现云上 LangChain 的一键部署,默认对接多个生态合作商业大模型和开源大模型。同时支持包括 BGE、Bert 等在内的 Embedding 模型,能无缝对接金山云全托管向量数据库 Milvus,提供面向企业开发者的简单易用、安全可信的一站式推理应用部署平台。此外,MaaS 2.0 支持通过标准化的 API 接口和 Web 前端界面,实现包括模型推理和知识库搭建的 RAG 大模型场景应用。为进一步增强云上运行的安全性,MaaS 2.0 还提供容器服务加密镜像解决方案,依托金山云裸金属服务,实现在金山云容器服务中从镜像加密、加密镜像上传、解密镜像运行的全流程模型安全运行。

 

同时,为满足行业客户的需求,金山云探索大模型时代企业赋能新机遇,围绕企业级知识助手场景制定了“一三一四”产品全景规划,即一套能力(金山云轻舟智问)、三个模型(行业语言模型、文本分片和 Embedding 模型)、一个平台(金山云瀚海平台)及四大功能(微调推理、数据加速、智能检索和文档智能),围绕生成式人工智能构建应用落地、模型训练微调、平台支撑的全栈能力。基于“一三一四”规划,金山云将分别针对应用型客户和平台型客户输出多项原子能力。目前,金山云轻舟智问知识助手产品已完成应用以及 Embedding 模型、多路召回算法和智能数据切片模型等核心技术的建设,计划优先在公共服务和法律场景落地。

 

与人工智能的结合,给了云更多的想象空间,也给各行业都带来了新的生产力。随着技术的进一步完善和落地,云计算将迎来更强更久的生命力。金山云将持续围绕客户需求“练内功”,携手生态伙伴以差异化打法布局未来。

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2024-02-01 16:097881
用户头像
李冬梅 加V:busulishang4668

发布了 812 篇内容, 共 379.6 次阅读, 收获喜欢 999 次。

关注

评论

发布
暂无评论

音频技术的下一个“热点”,会出现在哪个领域?丨一期一会 • 音频工程师专场

声网

人工智能 音频

Kubernetes伟大的未来

CTO技术共享

华为云CDN&云视频通信专场:828低价购,CDN0.05元/GB起,短信0.006元/条起

sofiya

七种常见的IPv6网络攻击

穿过生命散发芬芳

ipv6 8月月更 网络攻击

关于TAE(Transactional Analytical Engine)的那些事

MatrixOrigin

MatrixOne 矩阵起源 MatirxOrigin TAE

多模态算法在视频理解中的应用

之家技术

人工智能 算法 视频 多模态

字典服务的设计与管理

Java 架构

基于时间戳的日志回放引擎

FunTester

NOIP考试注意事项

工程师日月

8月月更

网络架构设计概要

阿泽🧸

8月月更

每日一 R「12」数据结构(三)哈希表

Samson

8月月更 ​Rust

头脑风暴:判断子序列

HelloWorld杰少

算法 LeetCode 8月月更

【算法实践】| 一步步带你实现寻找最大公约数

迷彩

数学 算法解析 算法实践 8月月更 最大公约数

828选华为云,实惠更实用——为什么选择华为云CDN的企业多?

sofiya

Spring 全家桶之 Spring Security(二)

小白

8月月更

kubernetes ansible快速构建

CTO技术共享

gateway网关

急需上岸的小谢

8月月更

灵魂拷问:你精神内耗了吗?由TA来治愈吧

白洞计划

Rustc 源码学习 - Lint 与 LintPass

chai2010

开源一夏 | Foundation对于模态框以及Subsystems的深入运用的理解心得

恒山其若陋兮

开源 8月月更

并行接口8255A简介

乌龟哥哥

8月月更

【杂谈】网络协议(二)

自然

网络层 8月月更

Java开发微信公众号初体验

源字节1号

前端开发 后端开发 小程序开发

Kubernetes Argo Rollouts高级的部署能力

CTO技术共享

用golang官方Docker镜像运行项目

程序员欣宸

golang 8月月更

你就是函数响应式编程(FRP)啊?!【附 RxJS 实战】

掘金安东尼

前端 函数式编程 8月月更

leetcode 503. Next Greater Element II 下一个更大元素 II(中等)

okokabcd

LeetCode 算法与数据结构

C++多态案例(三)-电脑组装

CtrlX

c c++ 面向对象 8月月更

数据技术大融合,HSTAP数据库有多少想象空间?

MatrixOrigin

MatrixOrigin MatrixOne HSTAP

Spring 全家桶之 Spring Security(一)

小白

8月月更

【杂谈】网络协议(一)

自然

网络 8月月更

金山云升级全栈云计算体系,全方位承接大模型应用_AI 工程化_李冬梅_InfoQ精选文章