NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

谷歌推出 3 个新的云存储选项:Cloud Storage FUSE、Parallelstore 和 NetApp Volumes

  • 2023-09-12
    北京
  • 本文字数:1270 字

    阅读完需:约 4 分钟

大小:676.03K时长:03:50
谷歌推出3个新的云存储选项:Cloud Storage FUSE、Parallelstore和NetApp Volumes

最近,谷歌推出了 3 个新的云存储选项:Cloud Storage FUSE(用于需要文件系统语义的人工智能应用程序)、Parallelstore(这是一个并行文件系统,用于需要使用 GPU 的人工智能和高性能计算应用程序)和NetApp Volumes(用于在云中运行的企业级应用程序)。

 

Cloud Storage FUSE 已经提供了开源版本,允许将Cloud Storage桶中的对象作为挂载到本地文件系统的文件来访问。谷歌针对人工智能工作负载增强了它的可移植性、可靠性、性能和集成能力。在谷歌的一篇博文中,谷歌产品经理Marco Abela和高级产品经理Akshay Ram解释说:

新推出的 Cloud Storage FUSE 对于人工智能工作负载尤为重要。由于应用程序可以直接访问数据(而不是将数据下载到本地),所以不需要实现自定义逻辑,而且复制数据时 TPU 和 GPU 等宝贵资源的空闲时间也缩短了。此外,GKE(Google Kubernetes Engine)新增的Cloud Storage FUSE CSI驱动程序允许应用程序使用为人熟知的 Kubernetes API 挂载 Cloud Storage,并且是作为由 GKE 托管的 turn-key 部署提供的。

 


Cloud Storage FUSE 概览(图片来源:谷歌的博文

 

云布道师J.W. Davis在一则推特中评论了 GKE FUSE 文件系统的可用性:

这似乎已经注定会带来许多灾难。它的应用场景非常有限;大多数人会遭受滥用之苦。

 

除了用于 AI 应用程序的 Cloud Storage FUSE 之外,谷歌还宣布了并行文件系统 Parallelstore 的内部预览。它可以为 AI/ML 和 HPC 工作负载提供高性能的并行文件存储解决方案,帮助用户减少因 I/O 存储等待所浪费的宝贵的 GPU 资源。该解决方案基于英特尔下一代分布式异步对象存储(DAOS)架构。

 

存储业务副总裁兼总经理Sameet Agarwal和存储业务集团产品经理Sean Derrington在谷歌的一篇博文中介绍了这个新的云存储选项:

基于英特尔下一代的 DAOS 架构,Parallelstore 环境中的所有计算节点都具有同样的存储访问权限,因此,VM 可以即时地访问其数据。与竞争对手 Lustre Scratch 的产品相比,Parallelstore 的读吞吐量是其 6.3 倍。Parallelstore 非常适合需要极高性能(IOPS 和吞吐量)和超低延迟的云端应用。

 

最后,第 3 个新增的云存储选项是 NetApp Volumes。这是一项完全由谷歌托管的高性能文件存储服务。该存储选项专为希望将基于本地 NetApp 存储阵列的应用程序迁移上云的企业而设计。该服务提供的容量在 100GiB 到 100TiB 之间,为混合工作负载实现了 ONTAP 数据管理,并且无需重构即可将 Windows 或 Linux 应用程序作为虚拟机运行。

 

当 InfoQ 问到是什么促使谷歌进行这些投资时,Derrington 是这么说的:

随着人工智能在自动化数据管理方面变得越来越重要,组织开始转向云计算来为应用程序寻求合适的存储解决方案。借助谷歌云新提供的专门针对人工智能优化过的存储产品 Cloud Storage FUSE 和 Parallelstore,我们提供了定制的存储解决方案,简化操作,激发创新,降低成本,帮助客户适应复杂的人工智能工作负载。

 

Cloud Storage FUSE 和 NetApp Volumes 可以通过谷歌云控制台获得,而 Parallelstore 需要通过谷歌账户管理器获得。

 

声明:本文为 InfoQ 翻译,未经许可禁止转载。

 

原文链接:https://www.infoq.com/news/2023/08/google-cloud-new-storage-options/

2023-09-12 16:202423

评论

发布
暂无评论
发现更多内容

企业文档爆炸,如何管?

小炮

企业文档管理工具

CountDownLatch、CyclicBarrier和Semaphore区别及底层原理

爱好编程进阶

Java 程序员 后端开发

Day177

爱好编程进阶

Java 程序员 后端开发

Day346&347&348&349

爱好编程进阶

程序员 后端开发

ansible 模块:set_fact

ghostwritten

ansible

「码」力集结!他们用作品为FinClip黑客松打造出一道靓丽的风景线

Speedoooo

小程序 hackathon 黑客马拉松 黑客松 小程序容器

IO流详细解答,博主亲自手敲代码,快速上手

爱好编程进阶

Java 程序员 后端开发

当.Net撞上BI可视化,这3种“套路”你必须知道

葡萄城技术团队

看板 数据大屏 BI数据分析

容器化 | 构建 RadonDB MySQL 集群监控平台

RadonDB

MySQL 数据库 容器化 RadonDB KubeSphere

Eclipse中查看源代码

爱好编程进阶

Java 程序员 后端开发

ansible template jinja2 渲染

ghostwritten

ansible

基于 FFI 的 PyFlink 下一代 Python 运行时介绍

Apache Flink

大数据 flink 编程 流计算 实时计算

docker下kibana搭建

爱好编程进阶

Java 程序员 后端开发

“银行家算法”大揭秘!在前端表格中利用自定义公式实现“四舍六入五成双”

葡萄城技术团队

银行家算法 纯前端表格技术

ansible 模块:script

ghostwritten

ansible

萌新看过来,你还学不懂VScode插件吗?

葡萄城技术团队

报表

拿起手中的键盘做公益侠客,让你的第一个低代码应用为公益发光发热!

InfoQ写作社区官方

低代码 公益 大学生 热门活动 码上公益

hive踩过的小坑

爱好编程进阶

Java 程序员 后端开发

还在写SQL做SAP二开?通过RFC调用NetWeaver,让HANA数据库操作更可靠

葡萄城技术团队

ERP 全套信息化系统 二开

Day274

爱好编程进阶

Java 程序员 后端开发

HIVE3 深度剖析 (上篇)

明哥的IT随笔

大数据 hie

Hugging Face创始人亲述:一个GitHub史上增长最快的AI项目

OneFlow

人工智能 深度学习 nlp 开源社区

Apache DolphinScheduler 2.X保姆级源码解析,中国移动工程师揭秘服务调度启动全流程

Apache DolphinScheduler

Apache 大数据 开源 DolphinScheduler workflow

AIRIOT物联网低代码平台如何配置MQTT驱动?

AIRIOT

物联网 低代码平台 驱动配置

ansible 模块:add_host

ghostwritten

ansible

无形资产管理系统解决方案

低代码小观

资产管理 CRM 财务审核系统 CRM系统 企业管理软件

ansible 模块:blockinfile

ghostwritten

ansible

idea启动tomcat报错,org

爱好编程进阶

Java 程序员 后端开发

IntelliJ IDEA开发最佳配置

爱好编程进阶

Java 程序员 后端开发

美哭了,一款开发者必备的接口管理工具!

Liam

Postman 开发工具 API API接口管理 接口管理工具

Go1.18泛型浅谈

CodeWithBuff

golang 泛型 新特性 Go 语言

谷歌推出3个新的云存储选项:Cloud Storage FUSE、Parallelstore和NetApp Volumes_服务革新_Steef-Jan Wiggers_InfoQ精选文章