AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

谷歌推出 3 个新的云存储选项:Cloud Storage FUSE、Parallelstore 和 NetApp Volumes

  • 2023-09-12
    北京
  • 本文字数:1270 字

    阅读完需:约 4 分钟

大小:676.03K时长:03:50
谷歌推出3个新的云存储选项:Cloud Storage FUSE、Parallelstore和NetApp Volumes

最近,谷歌推出了 3 个新的云存储选项:Cloud Storage FUSE(用于需要文件系统语义的人工智能应用程序)、Parallelstore(这是一个并行文件系统,用于需要使用 GPU 的人工智能和高性能计算应用程序)和NetApp Volumes(用于在云中运行的企业级应用程序)。

 

Cloud Storage FUSE 已经提供了开源版本,允许将Cloud Storage桶中的对象作为挂载到本地文件系统的文件来访问。谷歌针对人工智能工作负载增强了它的可移植性、可靠性、性能和集成能力。在谷歌的一篇博文中,谷歌产品经理Marco Abela和高级产品经理Akshay Ram解释说:

新推出的 Cloud Storage FUSE 对于人工智能工作负载尤为重要。由于应用程序可以直接访问数据(而不是将数据下载到本地),所以不需要实现自定义逻辑,而且复制数据时 TPU 和 GPU 等宝贵资源的空闲时间也缩短了。此外,GKE(Google Kubernetes Engine)新增的Cloud Storage FUSE CSI驱动程序允许应用程序使用为人熟知的 Kubernetes API 挂载 Cloud Storage,并且是作为由 GKE 托管的 turn-key 部署提供的。

 


Cloud Storage FUSE 概览(图片来源:谷歌的博文

 

云布道师J.W. Davis在一则推特中评论了 GKE FUSE 文件系统的可用性:

这似乎已经注定会带来许多灾难。它的应用场景非常有限;大多数人会遭受滥用之苦。

 

除了用于 AI 应用程序的 Cloud Storage FUSE 之外,谷歌还宣布了并行文件系统 Parallelstore 的内部预览。它可以为 AI/ML 和 HPC 工作负载提供高性能的并行文件存储解决方案,帮助用户减少因 I/O 存储等待所浪费的宝贵的 GPU 资源。该解决方案基于英特尔下一代分布式异步对象存储(DAOS)架构。

 

存储业务副总裁兼总经理Sameet Agarwal和存储业务集团产品经理Sean Derrington在谷歌的一篇博文中介绍了这个新的云存储选项:

基于英特尔下一代的 DAOS 架构,Parallelstore 环境中的所有计算节点都具有同样的存储访问权限,因此,VM 可以即时地访问其数据。与竞争对手 Lustre Scratch 的产品相比,Parallelstore 的读吞吐量是其 6.3 倍。Parallelstore 非常适合需要极高性能(IOPS 和吞吐量)和超低延迟的云端应用。

 

最后,第 3 个新增的云存储选项是 NetApp Volumes。这是一项完全由谷歌托管的高性能文件存储服务。该存储选项专为希望将基于本地 NetApp 存储阵列的应用程序迁移上云的企业而设计。该服务提供的容量在 100GiB 到 100TiB 之间,为混合工作负载实现了 ONTAP 数据管理,并且无需重构即可将 Windows 或 Linux 应用程序作为虚拟机运行。

 

当 InfoQ 问到是什么促使谷歌进行这些投资时,Derrington 是这么说的:

随着人工智能在自动化数据管理方面变得越来越重要,组织开始转向云计算来为应用程序寻求合适的存储解决方案。借助谷歌云新提供的专门针对人工智能优化过的存储产品 Cloud Storage FUSE 和 Parallelstore,我们提供了定制的存储解决方案,简化操作,激发创新,降低成本,帮助客户适应复杂的人工智能工作负载。

 

Cloud Storage FUSE 和 NetApp Volumes 可以通过谷歌云控制台获得,而 Parallelstore 需要通过谷歌账户管理器获得。

 

声明:本文为 InfoQ 翻译,未经许可禁止转载。

 

原文链接:https://www.infoq.com/news/2023/08/google-cloud-new-storage-options/

2023-09-12 16:202966

评论

发布
暂无评论
发现更多内容

带你读论文丨基于视觉匹配的自适应文本识别

华为云开发者联盟

损失函数 视觉 文本识别 文档识别 视觉匹配

iPhone13全线机型上线WeTest云手机平台

WeTest

两个剪辑透明化融合视频特效处理

老猿Python

Python 音视频 视频剪辑 视频特效 引航计划

大厂面试喜欢考算法,该怎么破?

博文视点Broadview

天壤完成新一轮战略融资 加速构建数字化转型通用智能平台

InfoQ 天津

百度信息流和搜索业务中的KV存储实践

百度Geek说

后端 搜索

JavaScript “上层”语言

Augus

JavaScript 9月日更

p3c 插件,是怎么检查出你那屎山的代码?

小傅哥

小傅哥 代码规范 p3m pmd 开发手册

低代码平台的功能及其用处

低代码小观

程序员 低代码 开发工具 低代码开发平台 无代码

卷王本卷

FunTester

内卷 FunTester

Elasticsearch IK 分词扩展词典(qbit)

qbit

elastic 扩展词 分词

回帖抽大奖——5分钟极速体验AI技术能力

百度大脑

人工智能

2B 销售系统设计需要考虑的 3 个层面

boshi

团队管理 销售管理

一文带你了解经典的Java垃圾回收机制

华为云开发者联盟

Java JVM 对象 垃圾回收机制 垃圾收集器

深入理解Netty-从偶现宕机看Netty流量控制

vivo互联网技术

Java、 框架 netty

数据安全与隐私系列08:大数据与电影《少数派报告》

Databri_AI

人工智能

[微服务] You built it.You fix it.

baiyutang

微服务 9月日更

Linux之常见的存储架构

在即

9月日更

HUAWEI雄起!顶级网络工程师总结出了这份网络协议开源笔记

Java 架构 面试 程序人生 编程语言

考试试卷存储设计

guangbao

什么是低代码自动化以及它如何使你受益?

低代码小观

程序员 自动化 工具 低代码 低代码开发平台

OceanBase 源码解读(五):租户的一生

OceanBase 数据库

数据开发 oceanbase OceanBase 开源 OceanBase 社区版 OceanBase 数据库大赛

2021年9月数据库流行度排行解读:聊聊国产数据库可以从哪方面做到以用户为中心

墨天轮

数据库 TiDB oceanbase 国产数据库 达梦

linux之秘钥登录

入门小站

Linux

在线985,211高校查询

入门小站

工具

吃串串,数签签,这个AI神器一秒搞定

百度大脑

人工智能 EasyDL

密码学系列之:1Password的加密基础PBKDF2

程序那些事

算法 加密解密 密码学 程序那些事

MPU:鸿蒙轻内核的任务栈的溢出检察官

华为云开发者联盟

鸿蒙 内核 任务栈 MPU 内存保护单元

华为云顾炯炯:云原生应用传送网络AND的实现架构与核心技术分享

华为云开发者联盟

网络 华为云 应用传送网络 ADN 东数西算

maven如何忽略指定的远程仓库

小江

maven nexus 迁移 java;

MLOps生产中的机器学习:为什么你应该关心数据和概念漂移 易筋 ARTS 打卡 Week 67

John(易筋)

ARTS 打卡计划

谷歌推出3个新的云存储选项:Cloud Storage FUSE、Parallelstore和NetApp Volumes_服务革新_Steef-Jan Wiggers_InfoQ精选文章