阿里、蚂蚁、晟腾、中科加禾精彩分享 AI 基础设施洞见,现购票可享受 9 折优惠 |AICon 了解详情
写点什么

Amazon FSx for Lustre 更新:用于长期高性能工作负载的持久性存储

  • 2020-02-27
  • 本文字数:4388 字

    阅读完需:约 14 分钟

Amazon FSx for Lustre 更新:用于长期高性能工作负载的持久性存储

去年,我曾写过关于 Amazon FSx for Lustre 的博文,我在其中介绍了客户如何用它来创建兼容 POSIX 的 PB 级高并行文件系统,为数千个客户端同时提供服务,以亚毫秒级延迟驱动数百万次 IOPS(每秒的输入/输出操作)。


作为一项托管服务,Amazon FSx for Lustre 让您可以轻松地启动和运行世界上最热门的高性能文件系统。我们的客户将此服务用于需要速度的工作负载,包括机器学习、高性能计算 (HPC) 和金融建模。


现在,我们对 Amazon FSx for Lustre 进行了增强,使您能够创建具有三个性能级别的耐用、高可用性高性能文件系统,以及旨在为突增工作负载提供更好支持的新的第二代暂存文件系统。

最新更新

在深入了解今天的新闻前,我们先来看一看我们最近对该服务进行的几项更新:


数据存储库 API – 此次更新推出了一组 API,可使您将文件从 FSx 轻松导出至 S3,包括启动、监控和取消已更改文件到 S3 的传输的能力。要了解更多信息,请阅读在 Amazon FSx for Lustre 与 Amazon S3 之间移动数据的新增强功能


SageMaker 集成 – 经过此次更新,您可以将 Amazon FSx for Lustre 文件系统上存储的数据用作 Amazon SageMaker 模型的训练数据。您可以使用海量数据来训练您的模型,无需先将数据移动至 S3。


ParallelCluster 集成 – 经过此次更新,您可以在使用 AWS ParallelCluster 创建 HPC 集群时创建 Amazon FSx for Lustre 文件系统,并且也可以选择使用现有的文件系统。


EKS 集成 – 此次更新让您可以使用新的 AWS FSx 容器存储接口 (CSI) 驱动程序从您的 Amazon EKS 集群访问 Amazon FSx for Lustre 文件系统。


更小的文件系统大小 – 除了原来的 3.6 TiB 之外,经过此次更新,您还可以创建 1.2 TiB 和 2.4 TiB Lustre 文件系统。


CloudFormation 支持 – 此次更新让您可以使用 AWS CloudFormation 模板来部署使用 Amazon FSx for Lustre 文件系统的堆栈。要了解更多信息,请查看 AWS::FSx::FileSystem LustreConfiguration


SOC 合规性 – 此次更新宣布,Amazon FSx for Lustre 现在可以与受服务组织控制 (SOC) 约束的应用程序结合使用。要了解此合规性计划和其他合规性计划的更多信息,请查看按合规性计划划分的范围内 AWS 服务


Amazon Linux 支持 – 此次更新允许运行 Amazon Linux 或 Amazon Linux 2 的 EC2 实例访问 Amazon FSx for Lustre 文件系统。


客户端存储库 – 您现在可以使用兼容最新版本 Ubuntu、Red Hat Enterprise Linux 和 CentOS 的 Lustre 客户端。要了解更多信息,请阅读安装 Lustre 客户端

新的持久性和暂存部署选项

最初,我们推出此服务是为了对数据进行高速短期处理,而且,在今天以前,FSx for Lustre 都在提供适合进行临时存储和短期数据处理的暂存文件系统 – 如果文件服务器发生故障,数据将不会被复制,且不会保留。现在,我们扩展到短期处理之外,推出了旨在用于更长期存储和工作负载的持久性文件系统,在此系统中,数据将得到复制,且故障的文件服务器也会被替换。


除了这个新的部署选项之外,我们还推出了旨在为突增工作负载提供更好支持的第二代暂存文件系统,它能够提供比基线最多高 6 倍的突增吞吐量。与第一代暂存文件系统相同的是,该系统非常适合临时存储和短期数据处理。


下面的表格可帮助您在部署选项中进行选择:


         col 1               |                                                                                          col 2                                                                                           |                                                                                          col 3                                                                                           |          col 4         
复制代码


:--------------------------------:|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|:-----------------------:


| 持久性 | 暂存 2 | 暂存 1


**API 名称


** | PERSISTENT_1 | SCRATCH_2 | SCRATCH_1


存储复制 | 相同可用区 | 无 | 无


**总吞吐量


(每 TiB 预置容量)


** | 50 MB/秒、100 MB/秒、200 MB/秒 | 200 MB/秒,突增至 1200 MB/秒 | 200 MB/秒


IOPS | 数百万 | 数百万 | 数百万


延迟 | 亚毫秒,较高的差值 | 亚毫秒,非常低的差值 | 亚毫秒,非常低的差值


工作负载预期生命周期 | 天,周,月 | 小时,天,周 | 小时,天,周


静态加密 | 客户托管和 FSx 托管密钥 | FSx 托管密钥 | FSx 托管密钥


传输中加密 | 是,从这些区域中的支持 EC2 实例访问时。 | 是,从这些区域中的支持 EC2 实例访问时。 | 否


**初始的存储分配


** | 1.2 TiB、2.4 TiB,以 2.4 TiB 为增量 | 1.2 TiB、2.4 TiB,以 2.4 TiB 为增量 | 1.2 TiB、2.4 TiB、3.6 TiB


额外的存储分配 | 2.4 TiB | 2.4 TiB | 3.6 TiB

创建持久性文件系统

我可以使用 AWS 管理控制台AWS 命令行界面 (CLI) (create-file-system)、CloudFormation 模板或 FSx for Lustre API (CreateFileSystem) 创建使用持久性部署选项的文件系统。我将使用控制台:



然后,将它像其他文件系统一样安装,并照常访问它。

注意事项

这里需要牢记几点:


Lustre 客户端 – 您将需要使用包含 Lustre 客户端的 AMI(Amazon 系统映像)。您可以使用最新的 Amazon Linux AMI,或者可以创建自己的 AMI。


S3 导出 – 通过这两个选项,您都可以使用 CreateDataRepositoryTask 函数将更改导出至 S3 中。这使您能够在达到严格的恢复点目标 (RPO) 的同时,利用 S3 可提供 99.999999999% 耐用性这一设计优点。


现已推出


持久性文件系统已在所有 AWS 区域推出。暂存 2 文件系统已在所有商用 AWS 区域推出,欧洲(斯德哥尔摩)除外。


价格基于您选择的性能级别和您预置的存储量;请参阅 Amazon FSx for Lustre 定价页面了解更多信息。


本文转载自 AWS 技术博客。


原文链接:https://amazonaws-china.com/cn/blogs/china/amazon-fsx-for-lustre-persistent-storage/


2020-02-27 17:04595

评论

发布
暂无评论
发现更多内容

有道技术沙龙 | JAVA下午茶

有道技术团队

Java

区块链新基建时代 看欧科云链如何助力数字经济产业升级

CECBC

数字经济

区块链技术如何助力构建新能源系统

CECBC

如何防止抄袭PCB电路板

不脱发的程序猿

嵌入式 如何防止抄袭PCB电路板 PCB电路板 硬件开发

智能家居商业模式:To C向左,To B向右

不脱发的程序猿

IoT 智能家居 智能家居商业模式

打破固有思维(九)

Changing Lin

☕【Java技术之旅】走进线程池的世界(基础篇)

洛神灬殇

Java 线程 线程池 线程池工作原理 5月日更

Serverless:这真的是未来吗?(一)

Serverless Devs

运维 云原生 服务器 #Serverless

狗尾续貂之Neutron网络部署架构的第N+1种方式

焱融科技

容器 云原生 高性能 部署 网络架构

零基础学习 NLP-DAY5 - 恶补 Python - 基础 2

Qien Z.

Python if 5月日更

个人/团队/企业/组织申请计算机软件著作权的流程

不脱发的程序猿

程序人生 专利 软著申请 计算机软件著作

不服不行!腾讯、阿里Android高级面试真题汇总,成功入职阿里

欢喜学安卓

android 程序员 面试 移动开发

解读SSDB、LevelDB和RocksDB到GaussDB(for Redis)的迁移

华为云开发者联盟

数据仓库 华为云 数据迁移 GaussDB(for Redis) PB级数据库

深入浅出,Andorid 端屏幕采集技术实践

拍乐云Pano

android 音视频

“InfoQ 的朋友们-Geek青年说·北京站”即将开讲,快来!

InfoQ写作社区官方

GEEK 话题讨论 InfoQ 的朋友们 热门活动

华为云MCP多云跨云的容器治理与实践

华为云原生团队

开源 容器 云原生 集群 多云管理平台

区块链创新包含基础技术和应用场景两个层面

CECBC

带你彻底搞懂高性能网络模式Reactor 和 Proactor

华为云开发者联盟

reactor Proactor 网络编程模式

夯实信任基础 区块链正在成为价值互联网的新代言

CECBC

数据中心太耗电,送你一个节能神器

华为云开发者联盟

数据中心 节能 电费 NAIE 制冷

【音视频专题】音频质量评估方法那些事

Hanson

音视频

区块链技术如何成为中国数字化转型最新驱动力

CECBC

区块链

两个开源免费的软件Typora和PicGo,成了我写东西的新宠。

彭宏豪95

写作 Typora 图床 5月日更

据说学会这款数据分析工具,会被各大名企高薪哄抢!

博文视点Broadview

如何让网络音频或本地音频文件发布到频道中

anyRTC开发者

音视频 WebRTC RTC sdk

太现实了!2021年阿里+腾讯+快手offer都已拿到!值得一看

欢喜学安卓

android 程序员 面试 移动开发

WAVE SUMMIT 2021 深度学习开发者峰会定档5月20日

百度大脑

深度学习 飞桨

python变量、运算符

若尘

变量 运算符 Python编程 5月日更

“新内容 新交互”全球视频云创新挑战赛复赛启幕

阿里云视频云

音视频

综资全生命周期管理助力网络运营更高效

鲸品堂

软件开发生命周期 应用 资源管理

bzz币挖矿软件开发|bzz币挖矿系统APP开发

Amazon FSx for Lustre 更新:用于长期高性能工作负载的持久性存储_语言 & 开发_AWS_InfoQ精选文章