写点什么

谷歌推出 3 个新的云存储选项:Cloud Storage FUSE、Parallelstore 和 NetApp Volumes

  • 2023-09-12
    北京
  • 本文字数:1270 字

    阅读完需:约 4 分钟

大小:676.03K时长:03:50
谷歌推出3个新的云存储选项:Cloud Storage FUSE、Parallelstore和NetApp Volumes

最近,谷歌推出了 3 个新的云存储选项:Cloud Storage FUSE(用于需要文件系统语义的人工智能应用程序)、Parallelstore(这是一个并行文件系统,用于需要使用 GPU 的人工智能和高性能计算应用程序)和NetApp Volumes(用于在云中运行的企业级应用程序)。

 

Cloud Storage FUSE 已经提供了开源版本,允许将Cloud Storage桶中的对象作为挂载到本地文件系统的文件来访问。谷歌针对人工智能工作负载增强了它的可移植性、可靠性、性能和集成能力。在谷歌的一篇博文中,谷歌产品经理Marco Abela和高级产品经理Akshay Ram解释说:

新推出的 Cloud Storage FUSE 对于人工智能工作负载尤为重要。由于应用程序可以直接访问数据(而不是将数据下载到本地),所以不需要实现自定义逻辑,而且复制数据时 TPU 和 GPU 等宝贵资源的空闲时间也缩短了。此外,GKE(Google Kubernetes Engine)新增的Cloud Storage FUSE CSI驱动程序允许应用程序使用为人熟知的 Kubernetes API 挂载 Cloud Storage,并且是作为由 GKE 托管的 turn-key 部署提供的。

 


Cloud Storage FUSE 概览(图片来源:谷歌的博文

 

云布道师J.W. Davis在一则推特中评论了 GKE FUSE 文件系统的可用性:

这似乎已经注定会带来许多灾难。它的应用场景非常有限;大多数人会遭受滥用之苦。

 

除了用于 AI 应用程序的 Cloud Storage FUSE 之外,谷歌还宣布了并行文件系统 Parallelstore 的内部预览。它可以为 AI/ML 和 HPC 工作负载提供高性能的并行文件存储解决方案,帮助用户减少因 I/O 存储等待所浪费的宝贵的 GPU 资源。该解决方案基于英特尔下一代分布式异步对象存储(DAOS)架构。

 

存储业务副总裁兼总经理Sameet Agarwal和存储业务集团产品经理Sean Derrington在谷歌的一篇博文中介绍了这个新的云存储选项:

基于英特尔下一代的 DAOS 架构,Parallelstore 环境中的所有计算节点都具有同样的存储访问权限,因此,VM 可以即时地访问其数据。与竞争对手 Lustre Scratch 的产品相比,Parallelstore 的读吞吐量是其 6.3 倍。Parallelstore 非常适合需要极高性能(IOPS 和吞吐量)和超低延迟的云端应用。

 

最后,第 3 个新增的云存储选项是 NetApp Volumes。这是一项完全由谷歌托管的高性能文件存储服务。该存储选项专为希望将基于本地 NetApp 存储阵列的应用程序迁移上云的企业而设计。该服务提供的容量在 100GiB 到 100TiB 之间,为混合工作负载实现了 ONTAP 数据管理,并且无需重构即可将 Windows 或 Linux 应用程序作为虚拟机运行。

 

当 InfoQ 问到是什么促使谷歌进行这些投资时,Derrington 是这么说的:

随着人工智能在自动化数据管理方面变得越来越重要,组织开始转向云计算来为应用程序寻求合适的存储解决方案。借助谷歌云新提供的专门针对人工智能优化过的存储产品 Cloud Storage FUSE 和 Parallelstore,我们提供了定制的存储解决方案,简化操作,激发创新,降低成本,帮助客户适应复杂的人工智能工作负载。

 

Cloud Storage FUSE 和 NetApp Volumes 可以通过谷歌云控制台获得,而 Parallelstore 需要通过谷歌账户管理器获得。

 

声明:本文为 InfoQ 翻译,未经许可禁止转载。

 

原文链接:https://www.infoq.com/news/2023/08/google-cloud-new-storage-options/

2023-09-12 16:202755

评论

发布
暂无评论
发现更多内容

在 Go 语言单元测试中如何解决文件依赖问题

江湖十年

golang 后端 单元测试

《Java极简设计模式》第01章:单例模式(Singleton)

冰河

Java 程序员 设计模式 架构师 java基础

对线面试官 - TCP经典面试题

派大星

TCP/IP Java 面试题

InCopy 2023 for mac(专业排版软件) v18.3中文激活版

mac

苹果mac Windows软件 InCopy 2023 IC2023 排版软件

AREX Agent 插件开发指南

AREX 中文社区

开源 Java Agent 自动化测试 Mock测试框架 流量回放

AIGC热潮涌动 HashData如何降低大模型应用门槛?

酷克数据HashData

Linux之select、poll、epoll讲解

java易二三

Linux 程序员 计算机

强化服务韧性:ChaosBlade磁盘故障模拟的原理与应用

柠檬汁Code(binbin0325)

混沌工程 系统调用 磁盘故障 Chaos 故障模拟

高效数据传输:轻松上手将Kafka实时数据接入CnosDB

CnosDB

kafka CnosDB Telegraf

一键登录助力用户转化率稳步上升

MobTech袤博科技

前端 App 前端开发 秒验 一键登录

SpringBoot3安全管理

Java spring springboot springsecurity SpringBoot3

华为云classroom赋能--Devstar使应用开发无需从零开始

华为云PaaS服务小智

DevOps 软件开发

千帆大模型平台的海量 Prompt 模板库,带来了什么?

梦想橡皮擦

千帆大模型平台

C++使用new来初始化指向类的指针

芯动大师

go的net/http有哪些值得关注的细节?

java易二三

Java 数据库 程序员 计算机

对线面试官:Redis 夺命连环 38 问,你能抗住多少?

java易二三

redis 程序员 面试 后端 计算机

落地大模型应知必会(3): 如何构建多任务的LLM应用

Baihai IDP

人工智能 AI LLM 白海科技 落地大模型应用

代码随想录Day43 - 动态规划(五)

jjn0703

技术分享 | kill掉mysqld_safe进程会影响mysqld进程?

GreatSQL

数据库 greatsql社区

一点就通,解析直播源码拉流技术

山东布谷网络科技

推荐工具!使终端便于 DevOps 和 Kubernetes 使用

SEAL安全

git Kubernetes zsh DevOps工具 企业号 8 月 PK 榜

数科公司转型,从IT运维向价值运营转变

用友BIP

数科公司

职场新人如何避免陷入成长陷阱

老张

职场成长 职场经验

全球劳动力革命,Papaya Global 打破薪资界限

CnosDB

Papaya Global 劳动力革命

幸福之道,就在其中

少油少糖八分饱

生活 读书感悟 幸福 阅读笔记 被讨厌的勇气

Programming abstractions in C阅读笔记:p107-p110

codists

c

告警通知全面提升,一键接入多渠道 - 轻松管理,时刻掌控

极限实验室

console agent alerting easysearch

一键登录是如何在登录方式中脱颖而出的?

MobTech袤博科技

前端 前端开发 APP开发 秒验 一键登录

浅谈中小企业为何做不好自媒体营销

石头IT视角

802.11ac VS 802.11ax represents chips IPQ4019 and IPQ5018-support MU-MIMO-OFDMA-TWT technology

wifi6-yiyi

wifi6 wifi5

谷歌推出3个新的云存储选项:Cloud Storage FUSE、Parallelstore和NetApp Volumes_服务革新_Steef-Jan Wiggers_InfoQ精选文章