写点什么

谷歌推出 3 个新的云存储选项:Cloud Storage FUSE、Parallelstore 和 NetApp Volumes

  • 2023-09-12
    北京
  • 本文字数:1270 字

    阅读完需:约 4 分钟

大小:676.03K时长:03:50
谷歌推出3个新的云存储选项:Cloud Storage FUSE、Parallelstore和NetApp Volumes

最近,谷歌推出了 3 个新的云存储选项:Cloud Storage FUSE(用于需要文件系统语义的人工智能应用程序)、Parallelstore(这是一个并行文件系统,用于需要使用 GPU 的人工智能和高性能计算应用程序)和NetApp Volumes(用于在云中运行的企业级应用程序)。

 

Cloud Storage FUSE 已经提供了开源版本,允许将Cloud Storage桶中的对象作为挂载到本地文件系统的文件来访问。谷歌针对人工智能工作负载增强了它的可移植性、可靠性、性能和集成能力。在谷歌的一篇博文中,谷歌产品经理Marco Abela和高级产品经理Akshay Ram解释说:

新推出的 Cloud Storage FUSE 对于人工智能工作负载尤为重要。由于应用程序可以直接访问数据(而不是将数据下载到本地),所以不需要实现自定义逻辑,而且复制数据时 TPU 和 GPU 等宝贵资源的空闲时间也缩短了。此外,GKE(Google Kubernetes Engine)新增的Cloud Storage FUSE CSI驱动程序允许应用程序使用为人熟知的 Kubernetes API 挂载 Cloud Storage,并且是作为由 GKE 托管的 turn-key 部署提供的。

 


Cloud Storage FUSE 概览(图片来源:谷歌的博文

 

云布道师J.W. Davis在一则推特中评论了 GKE FUSE 文件系统的可用性:

这似乎已经注定会带来许多灾难。它的应用场景非常有限;大多数人会遭受滥用之苦。

 

除了用于 AI 应用程序的 Cloud Storage FUSE 之外,谷歌还宣布了并行文件系统 Parallelstore 的内部预览。它可以为 AI/ML 和 HPC 工作负载提供高性能的并行文件存储解决方案,帮助用户减少因 I/O 存储等待所浪费的宝贵的 GPU 资源。该解决方案基于英特尔下一代分布式异步对象存储(DAOS)架构。

 

存储业务副总裁兼总经理Sameet Agarwal和存储业务集团产品经理Sean Derrington在谷歌的一篇博文中介绍了这个新的云存储选项:

基于英特尔下一代的 DAOS 架构,Parallelstore 环境中的所有计算节点都具有同样的存储访问权限,因此,VM 可以即时地访问其数据。与竞争对手 Lustre Scratch 的产品相比,Parallelstore 的读吞吐量是其 6.3 倍。Parallelstore 非常适合需要极高性能(IOPS 和吞吐量)和超低延迟的云端应用。

 

最后,第 3 个新增的云存储选项是 NetApp Volumes。这是一项完全由谷歌托管的高性能文件存储服务。该存储选项专为希望将基于本地 NetApp 存储阵列的应用程序迁移上云的企业而设计。该服务提供的容量在 100GiB 到 100TiB 之间,为混合工作负载实现了 ONTAP 数据管理,并且无需重构即可将 Windows 或 Linux 应用程序作为虚拟机运行。

 

当 InfoQ 问到是什么促使谷歌进行这些投资时,Derrington 是这么说的:

随着人工智能在自动化数据管理方面变得越来越重要,组织开始转向云计算来为应用程序寻求合适的存储解决方案。借助谷歌云新提供的专门针对人工智能优化过的存储产品 Cloud Storage FUSE 和 Parallelstore,我们提供了定制的存储解决方案,简化操作,激发创新,降低成本,帮助客户适应复杂的人工智能工作负载。

 

Cloud Storage FUSE 和 NetApp Volumes 可以通过谷歌云控制台获得,而 Parallelstore 需要通过谷歌账户管理器获得。

 

声明:本文为 InfoQ 翻译,未经许可禁止转载。

 

原文链接:https://www.infoq.com/news/2023/08/google-cloud-new-storage-options/

2023-09-12 16:203171

评论

发布
暂无评论
发现更多内容

实战分享:DolphinScheduler 中 Shell 任务环境变量最佳配置方式

白鲸开源

开源 Shell Apache DolphinScheduler 任务编排 工作流任务调度

开源鸿蒙开发者大会2025成功召开,启动开源鸿蒙应用技术组件共建

极客天地

重磅!SpringBoot4发布,11项重大变更全解析!

王磊

华东站最后席位丨精彩嘉宾阵容,完整日程揭秘!2025 Altair 区域技术交流会邀您共探 AI + 仿真的智能未来

Altair RapidMiner

人工智能 AI 汽车 数字孪生 CAE

4月报 | 将已派遣任务按工人组划分到不同等待队列提案落地

白鲸开源

大数据 开源 Apache DolphinScheduler 任务编排 工作流任务调度

「高盛」最新人形机器人研报:人形机器人商业化瓶颈和主流公司梳理(附报告)

机器人头条

机器人 大模型 人形机器人 具身智能

征程 6X VDSP 调试方法

地平线开发者

自动驾驶 系统软件 地平线征程6

谷歌云授权代理|90%用户不知道的5个谷歌云免费实用技巧

Cloud Ace 云一

谷歌云

ETL怎么实现多流自定义合并?

谷云科技RestCloud

Java join ETL 数据集成工具 多流合并

BeeWorks:构建企业智能数字化协作中枢,实现办公与业务系统的无缝整合

BeeWorks

即时通讯 IM 企业级应用

4月报 | SeaTunnel支持TDengine的多表Sink功能

白鲸开源

tdengine 开源社区 数据同步 Apache SeaTunnel

MetaMask钱包已集成Solana 网络,以太坊用户也能参与DePIN生态

PowerVerse

以太坊 节点 钱包 Solana DePIN

HarmonyOS实战:腾讯IM之聊天列表搭建(一)

IT小码哥

鸿蒙 HarmonyOS NEXT harmoyos 腾讯IM

Apache DolphinScheduler存储系统详解| AI生成技术文档系列

白鲸开源

大数据 AI Apache DolphinScheduler AIGC 技术文档

自然语言×数据集成新范式:SeaTunnel MCP深度解读 | 附视频讲解

白鲸开源

人工智能 数据集成 大模型 Apache SeaTunnel MCP

如何在网络带宽和设备性能有限的环境下实现流畅直播,减少卡顿、提升清晰度。

腾讯云音视频

实时音视频

掘金社区 MCP 上线、Claude 4与Gemini 2.5正面交锋、AI编程助手能力再进化—掘金 AI 编程社区周刊

Captain

iVX:图形化编程工程化实践及技术演进

代码制造者

全球通信产业展会风向标|2025中国信息通信展9月在京召开

AIOTE智博会

通信展 信息通信展 北京通信展

MySQL性能优化策略及高可用架构设计与实践+监控与运维自动化!

程序员高级码农

MySQL 编程 程序员

一招解决SeaTunnel Excel中无法将数字类型转换成字符串类型的问题 | 附源码打包

白鲸开源

大数据 Excel 数据同步 数据集成 Apache SeaTunnel

基于RPA技术的ECRobot企业智能体解决方案,打通企业自动化业务流程的最后一公里

伊克罗德信息科技

傻瓜式一键部署你的网页,让全世界看见你的想法

Captain

火热邀测!DataWorks数据集成支持大模型AI处理

阿里云大数据AI技术

人工智能 数据分析 数据处理 #大数据 Dataworks

大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece

武子康

大数据 hadoop mapreduce hive

AI 又双叒叕胡说八道?揭秘 RAG:让大模型答题不再“靠演的”!

塞讯科技

可观测性 信息技术 LLM可观测

ActiveMQ 可观测性最佳实践

观测云

Activemq

浅谈国企数字化转型

优秀

数字化转型 国企数字化转型

安全,稳定可靠的政企即时通讯数字化平台

BeeWorks

即时通讯 IM 企业级应用

谷歌推出3个新的云存储选项:Cloud Storage FUSE、Parallelstore和NetApp Volumes_服务革新_Steef-Jan Wiggers_InfoQ精选文章