未来已来|人工智能与数据库融合发展分论坛议程初探 了解详情
写点什么

亚马逊云科技开源 Mountpoint for Amazon S3,通过挂载点技术简化 Amazon S3 对象存储的使用

  • 2023-04-20
    北京
  • 本文字数:1071 字

    阅读完需:约 4 分钟

亚马逊云科技开源Mountpoint for Amazon S3,通过挂载点技术简化 Amazon S3 对象存储的使用

6 月 17 日,极客时间《企业级 Agents 开发实战营》正式上线,10 周掌握企业级 Agents 从设计、开发到部署全流程。

Pi Day活动期间,AWS 发布了Mountpoint for Amazon S3,这是一个开源文件客户端,可以提供 Amazon S3 的高吞吐量访问。该工具目前处于 Alpha 阶段,其本地挂载点提供了很高的单实例传输速率,主要用于数据湖应用程序。

 

Mountpoint for Amazon S3 将本地文件系统 API 调用转换为 S3 对象 API 调用,如 GET 和 LIST。它支持对文件进行随机和顺序读操作,支持列出文件和目录。但该 Alpha 版本不支持写入操作(PUT),预计将来只支持新对象的顺序写入。

 

AWS 学者、德克萨斯大学助理教授James Bornholt、AWS 高级产品经理Devabrat Kumar和 AWS 杰出工程师Andy Warfield承认,该客户端不是一个通用的网络文件系统,并且在文件操作上有一些限制,他们写道

 

Mountpoint 是为大规模分析型应用程序而设计的,它们可以并行读取和生成大量的 S3 数据,但不需要向现有对象中间写入数据。Mountpoint 允许你将 S3 存储桶或前缀映射到实例的文件系统命名空间,遍历存储桶的内容,就像它们是本地文件一样,并实现对对象的高吞吐量访问。

 

这个开源客户端没有模拟目录重命名等操作,因为那会产生 S3 API 调用,或者说需要 S3 API 不支持的 POSIX 文件系统特性。

 

Mountpoint for S3 并不是第一个将 S3 作为文件系统呈现的客户端,我们也可以使用Goofyss3fs这些流行的开源选项通过 FUSE 挂载桶。在 Reddit 上,有一些开发人员质疑新客户端的必要性,并担心它会被用在数据湖之外的领域,Bornholt、Kumar 和 Warfield 写道:

 

Mountpoint 并不是第一个用于访问 S3 的文件客户端——有几个开源的文件客户端,我们有客户使用过。然而,我们从这些客户那里都听到过的一个话题是,他们希望这些客户端能够提供与 S3 REST API 和 AWS SDK 相同的稳定性、性能和技术支持。

 

新客户端使用 Rust 在大多数 AWS SDK 都使用的公共运行时(CRT)上构建,它依赖于自动推理来验证文件系统语义。The Duckbill Group 首席云经济学家Corey Quinn在推特上写道

 

哦不,AWS 做了什么?15 年来,我之所以没有呼吁人们不要将 S3 用作文件系统,就是希望 S3 团队自己来做这件事!

 

云专家和 AWS 无服务器英雄Ben Kehoe提醒说

 

使用文件概念来考虑 S3 会使你对 API 的语义产生误解,最终做出错误的假设,当系统总是因为这些假设不成立而出现轻微的故障时,你就要难过了。

 

Mountpoint 遵循 Apache License 2.0 许可,尚不能应用于生产工作负载。GitHub 上提供了初始Alpha版本公共路线图

 

原文链接:

https://www.infoq.com/news/2023/03/mountpoint-amazon-s3/


相关阅读:

通过 Amazon Managed Microsoft Active Directory 运行混合 Active Directory 服务

亚马逊云科技为蓝绿及金丝雀策略引入 CloudFront 持续部署

2023-04-20 08:002863

评论

发布
暂无评论
发现更多内容

新书上市|一位家长的忠告:长大后不成才的孩子,父母都忽视了这个点!

图灵教育

育儿 教育 脑科学 基因

jvm内存结构不同部分的总结

知识浅谈

JVM内存结构 9月月更

阿里内部高产的 SpringBoot 保姆级笔记,面面俱到,太全了!

收到请回复

Java 云计算 开源 架构 编程语言

3个轻量级物联网新品实验,带您深度体验IoT开发

华为云开发者联盟

物联网 沙箱实验 企业号九月金秋榜

为啥是SQL?互联网投资回报比最高的技能是什么?

雨果

sql

Redis数据倾斜与JD开源hotkey源码分析揭秘

京东科技开发者

数据库 数据倾斜 key Redis 数据结构 redis\

区块链追溯:让冷链物流“热”起来!

旺链科技

区块链 产业区块链 企业号九月金秋榜 冷链物流

爬虫与反爬虫技术简介

vivo互联网技术

爬虫 反爬虫

快速体验 MicroK8s 开箱即用的服务网格

Flomesh

Service Mesh 服务网格

2022年最新【Java经典面试800题】面试必备,查漏补缺:多线程+spring+JVM调优+分布式+redis+算法

收到请回复

Java 云计算 开源 架构 编程语言

聊聊数据库主键那点事儿

Steven

漏洞管理流程

SEAL安全

漏洞修复 漏洞管理 企业号九月金秋榜

中国的时区为什么是Asia/Shanghai,而不是Asia/Beijing?

Sher10ck

提高数据可视化效果的五个原则

博文视点Broadview

新书上市|一位家长的忠告:长大后不成才的孩子,父母都忽视了这个点!

图灵社区

育儿 教育 脑科学 基因

一文了解循环神经网络

华为云开发者联盟

人工智能 语音识别 企业号九月金秋榜

SAP Cloud Application Programming 编程模型(CAP)的设计准则

Jerry Wang

CAP Cloud SAP Cloud Studio 9月月更

马蹄链Dapp系统开发(智能合约)

薇電13242772558

如何进行 Apache Doris 集群 Docker 快速部署

SelectDB

数据库 Doris Docker 镜像 安装 & 部署 企业号九月金秋榜

什么是数据管理系统?数据管理系统关键特性有哪些?

雨果

数据管理

堪称神作!啃透这份JVM笔记,轻松搞定阿里30K面试!!

收到请回复

Java 云计算 开源 架构 编程语言

流日志轻松应对“10亿级别IP对”复杂场景,实现超大规模混合云网络流量可视化

百度Geek说

运维 数据 流量 企业号九月金秋榜

TiFlash 源码阅读(九)TiFlash 中常用算子的设计与实现

PingCAP

#TiDB TiDB 源码解读

每日算法刷题Day14-反转链表、两个链表的第一个公共结点、删除链表中重复的节点

timerring

算法题 9月月更

浓缩即精华!腾讯云大神亲码“redis深度笔记”,堪称面试宝典!

收到请回复

Java 云计算 开源 架构 编程语言

带你体验给黑白照片上色

华为云开发者联盟

人工智能 华为云 图像 企业号九月金秋榜

两万字带你了解Java多线程(详细大总结)

Java快了!

如何利用OpenHarmony ArkUI的Canvas组件实现涂鸦功能?

OpenHarmony开发者

OpenHarmony

Java之static关键字的应用【工具类、代码块和单例】

Fire_Shield

static 9月月更 实际应用

大佬就是强!意外收获史诗级分布式资源,从基础到进阶,干货满满!

收到请回复

Java 云计算 开源 架构 编程语言

云原生底座之上,顺丰智慧供应链领跑的秘密

华为云开发者联盟

云计算 云原生 后端 企业号九月金秋榜

亚马逊云科技开源Mountpoint for Amazon S3,通过挂载点技术简化 Amazon S3 对象存储的使用_云原生_Renato Losio_InfoQ精选文章