【FCon上海】与行业领袖共话AI大模型、数字化风控等前沿技术。 了解详情
写点什么

亚马逊云科技开源 Mountpoint for Amazon S3,通过挂载点技术简化 Amazon S3 对象存储的使用

  • 2023-04-20
    北京
  • 本文字数:1071 字

    阅读完需:约 4 分钟

亚马逊云科技开源Mountpoint for Amazon S3,通过挂载点技术简化 Amazon S3 对象存储的使用

AI 大模型超全落地场景&金融应用实践,8 月 16 - 19 日 FCon x AICon 大会联诀来袭、干货翻倍!

Pi Day活动期间,AWS 发布了Mountpoint for Amazon S3,这是一个开源文件客户端,可以提供 Amazon S3 的高吞吐量访问。该工具目前处于 Alpha 阶段,其本地挂载点提供了很高的单实例传输速率,主要用于数据湖应用程序。

 

Mountpoint for Amazon S3 将本地文件系统 API 调用转换为 S3 对象 API 调用,如 GET 和 LIST。它支持对文件进行随机和顺序读操作,支持列出文件和目录。但该 Alpha 版本不支持写入操作(PUT),预计将来只支持新对象的顺序写入。

 

AWS 学者、德克萨斯大学助理教授James Bornholt、AWS 高级产品经理Devabrat Kumar和 AWS 杰出工程师Andy Warfield承认,该客户端不是一个通用的网络文件系统,并且在文件操作上有一些限制,他们写道

 

Mountpoint 是为大规模分析型应用程序而设计的,它们可以并行读取和生成大量的 S3 数据,但不需要向现有对象中间写入数据。Mountpoint 允许你将 S3 存储桶或前缀映射到实例的文件系统命名空间,遍历存储桶的内容,就像它们是本地文件一样,并实现对对象的高吞吐量访问。

 

这个开源客户端没有模拟目录重命名等操作,因为那会产生 S3 API 调用,或者说需要 S3 API 不支持的 POSIX 文件系统特性。

 

Mountpoint for S3 并不是第一个将 S3 作为文件系统呈现的客户端,我们也可以使用Goofyss3fs这些流行的开源选项通过 FUSE 挂载桶。在 Reddit 上,有一些开发人员质疑新客户端的必要性,并担心它会被用在数据湖之外的领域,Bornholt、Kumar 和 Warfield 写道:

 

Mountpoint 并不是第一个用于访问 S3 的文件客户端——有几个开源的文件客户端,我们有客户使用过。然而,我们从这些客户那里都听到过的一个话题是,他们希望这些客户端能够提供与 S3 REST API 和 AWS SDK 相同的稳定性、性能和技术支持。

 

新客户端使用 Rust 在大多数 AWS SDK 都使用的公共运行时(CRT)上构建,它依赖于自动推理来验证文件系统语义。The Duckbill Group 首席云经济学家Corey Quinn在推特上写道

 

哦不,AWS 做了什么?15 年来,我之所以没有呼吁人们不要将 S3 用作文件系统,就是希望 S3 团队自己来做这件事!

 

云专家和 AWS 无服务器英雄Ben Kehoe提醒说

 

使用文件概念来考虑 S3 会使你对 API 的语义产生误解,最终做出错误的假设,当系统总是因为这些假设不成立而出现轻微的故障时,你就要难过了。

 

Mountpoint 遵循 Apache License 2.0 许可,尚不能应用于生产工作负载。GitHub 上提供了初始Alpha版本公共路线图

 

原文链接:

https://www.infoq.com/news/2023/03/mountpoint-amazon-s3/


相关阅读:

通过 Amazon Managed Microsoft Active Directory 运行混合 Active Directory 服务

亚马逊云科技为蓝绿及金丝雀策略引入 CloudFront 持续部署

2023-04-20 08:002883

评论

发布
暂无评论
发现更多内容

不止于大,如何打造优秀的折叠屏应用体验

HarmonyOS开发者

HarmonyOS

践行开源理念,统信软件开放服务器操作系统UOS V20使用授权

统信软件

操作系统 服务器 国产化 免费

WorkPlus助力中交四航局打造数字化管理新模式,释放企业生产力

WorkPlus

百度工程师教你玩转设计模式(装饰器模式)

百度Geek说

Java 设计模式 12 月 PK 榜 装饰器模式

一文掌握MyBatis的动态SQL使用与原理

华为云开发者联盟

sql 开发 华为云 12 月 PK 榜

前端培训学习后好就业吗?

小谷哥

带你玩转OpenHarmony AI:打造智能语音子系统

OpenHarmony开发者

OpenHarmony

开源工具系列1:Cloud Custodian

HummerCloud

云计算 云安全

深度!用“极速统一”,开启金融行业数据分析新范式

StarRocks

我和 TiDB 的故事 | TiDB 仓库 commit TOP 1,PR 数超过 1000 的阿毛哥

TiDB 社区干货传送门

人物访谈

企业IM软件WorkPlus,组织高效协作与一体化办公首选

WorkPlus

BitSail issue持续更新中,快来挑战,赢取千元礼品!

字节跳动数据平台

大数据 开源 12 月 PK 榜

科班出生和培训出身的前端程序员哪个好?

小谷哥

阿里云联合“产学研媒”发起BizDevOps共促计划,助力企业提升组织效能

阿里技术

研发效能 数字化转型

大数据开发培训机构有哪些?

小谷哥

教你用JavaScript实现随机点名器

小院里的霍大侠

JavaScript 初学者 入门实战

TiDB Operator配置TiDB集群故障自动转移

TiDB 社区干货传送门

集群管理 管理与运维 故障排查/诊断 安装 & 部署 扩/缩容

培训学习大数据门槛低吗

小谷哥

扬州万方:基于申威平台的 Curve 块存储在高性能和超融合场景下的实践

网易数帆

nvme 分布式存储 curve 12 月 PK 榜

TiCDC 源码解读(2)-- TiKV CDC 模块介绍

TiDB 社区干货传送门

Go 中这么多创建 error 的方式,你真的了解它们各自的应用场景吗

Go学堂

golang 开源 程序员 个人成长 12月月更

作为程序员,12款常用的软件!

千锋IT教育

敏捷价值流管理

敏捷开发

敏捷 敏捷开发 价值流 价值流管理

火山引擎DataTester上线“流程画布”功能,支持组合型A/B实验分析

字节跳动数据平台

大数据 AB testing实战 12 月 PK 榜

JAVA培训学习后就业好吗

小谷哥

你的企业IM安全吗?对于私有化的即时通讯软件你了解多少?

WorkPlus

“自动驾驶+昇腾AI” 西安交大团队解决高级辅助驾驶的关键难题

Geek_2d6073

户外LED显示屏技术

Dylan

LED显示屏 户外LED显示屏 led显示屏厂家

携手 StarRocks 打造极速统一数据底座,理想汽车获 DAMA 中国 “数据治理最佳实践奖”

StarRocks

借力 StarRocks,"陆战之王" 大润发如何在零售业数字化转型中抢占先机?

StarRocks

数据分析 零售

DM 实践手册

TiDB 社区干货传送门

迁移 管理与运维

亚马逊云科技开源Mountpoint for Amazon S3,通过挂载点技术简化 Amazon S3 对象存储的使用_云原生_Renato Losio_InfoQ精选文章