【AICon】AI 基础设施、LLM运维、大模型训练与推理,一场会议,全方位涵盖! >>> 了解详情
写点什么

亚马逊云科技开源 Mountpoint for Amazon S3,通过挂载点技术简化 Amazon S3 对象存储的使用

  • 2023-04-20
    北京
  • 本文字数:1071 字

    阅读完需:约 4 分钟

亚马逊云科技开源Mountpoint for Amazon S3,通过挂载点技术简化 Amazon S3 对象存储的使用

Pi Day活动期间,AWS 发布了Mountpoint for Amazon S3,这是一个开源文件客户端,可以提供 Amazon S3 的高吞吐量访问。该工具目前处于 Alpha 阶段,其本地挂载点提供了很高的单实例传输速率,主要用于数据湖应用程序。

 

Mountpoint for Amazon S3 将本地文件系统 API 调用转换为 S3 对象 API 调用,如 GET 和 LIST。它支持对文件进行随机和顺序读操作,支持列出文件和目录。但该 Alpha 版本不支持写入操作(PUT),预计将来只支持新对象的顺序写入。

 

AWS 学者、德克萨斯大学助理教授James Bornholt、AWS 高级产品经理Devabrat Kumar和 AWS 杰出工程师Andy Warfield承认,该客户端不是一个通用的网络文件系统,并且在文件操作上有一些限制,他们写道

 

Mountpoint 是为大规模分析型应用程序而设计的,它们可以并行读取和生成大量的 S3 数据,但不需要向现有对象中间写入数据。Mountpoint 允许你将 S3 存储桶或前缀映射到实例的文件系统命名空间,遍历存储桶的内容,就像它们是本地文件一样,并实现对对象的高吞吐量访问。

 

这个开源客户端没有模拟目录重命名等操作,因为那会产生 S3 API 调用,或者说需要 S3 API 不支持的 POSIX 文件系统特性。

 

Mountpoint for S3 并不是第一个将 S3 作为文件系统呈现的客户端,我们也可以使用Goofyss3fs这些流行的开源选项通过 FUSE 挂载桶。在 Reddit 上,有一些开发人员质疑新客户端的必要性,并担心它会被用在数据湖之外的领域,Bornholt、Kumar 和 Warfield 写道:

 

Mountpoint 并不是第一个用于访问 S3 的文件客户端——有几个开源的文件客户端,我们有客户使用过。然而,我们从这些客户那里都听到过的一个话题是,他们希望这些客户端能够提供与 S3 REST API 和 AWS SDK 相同的稳定性、性能和技术支持。

 

新客户端使用 Rust 在大多数 AWS SDK 都使用的公共运行时(CRT)上构建,它依赖于自动推理来验证文件系统语义。The Duckbill Group 首席云经济学家Corey Quinn在推特上写道

 

哦不,AWS 做了什么?15 年来,我之所以没有呼吁人们不要将 S3 用作文件系统,就是希望 S3 团队自己来做这件事!

 

云专家和 AWS 无服务器英雄Ben Kehoe提醒说

 

使用文件概念来考虑 S3 会使你对 API 的语义产生误解,最终做出错误的假设,当系统总是因为这些假设不成立而出现轻微的故障时,你就要难过了。

 

Mountpoint 遵循 Apache License 2.0 许可,尚不能应用于生产工作负载。GitHub 上提供了初始Alpha版本公共路线图

 

原文链接:

https://www.infoq.com/news/2023/03/mountpoint-amazon-s3/


相关阅读:

通过 Amazon Managed Microsoft Active Directory 运行混合 Active Directory 服务

亚马逊云科技为蓝绿及金丝雀策略引入 CloudFront 持续部署

2023-04-20 08:002840

评论

发布
暂无评论
发现更多内容

【MyBatis系列4】一对一,一对多,多对多查询及延迟加载(N+1问题)分析

Java 程序员 后端

【Spring 工厂】工厂设计模式、第一个Spring程序细节分析、整合日志框架

Java 程序员 后端

【备战秋招冲击大厂】Java面试题系列—Java集合

Java 程序员 后端

【MyBatis系列2】最全MyBatis核心配置文件总结,可以作为工具先收藏了

Java 程序员 后端

【Spring Cloud 12】分布式架构下的高可用设计与可伸缩设计

Java 程序员 后端

【备战秋招冲击大厂】Java面试题系列—数据库

Java 程序员 后端

【并发编程】Thread类的详细介绍

Java 程序员 后端

【Java面经】阿里三面被挂!幸获内推,历经5轮终于拿到口碑offer(1)

Java 程序员 后端

【Spring 工厂】注入详解 — Set注入(JDK内置类型

Java 程序员 后端

【增强】(注解)SSM之配置多数据源

Java 程序员 后端

用APaaS平台落地高校闲置资产调剂业务

明道云

基于etcd实现大规模服务治理应用实战

百度Geek说

百度 架构 后端 etcd 服务治理

区块链食品溯源平台,给食品定制数字“身份证”

电微13828808271

【Redis面试题】Redis的字符串是怎么实现的?

Java 程序员 后端

【大厂技术内幕】字节跳动原来是这么做数据迁移的!

Java 程序员 后端

做云原生时代标准化工具,实现高效云上研发工作流

CODING DevOps

云原生 研发管理工具 CODING

【Java面试题】常见Java面试知识点总结

Java 程序员 后端

【Spring Boot 8】Okhttp实现GitHub第三方登录

Java 程序员 后端

【SpringBoot搭建个人博客】- 后台登录(四)

Java 程序员 后端

【springcloud】eureka服务治理入门

Java 程序员 后端

【springcloud合集】02:微服务架构理论基础

Java 程序员 后端

【Java面经】阿里三面被挂!幸获内推,历经5轮终于拿到口碑offer

Java 程序员 后端

【Java面试题总结 4】Java Web、网络、设计模式综合篇

Java 程序员 后端

【Redis缓存】- Redis数据结构、基本命令操作、持久化

Java 程序员 后端

技术干货 | Flutter在线编程实践总结

有道技术团队

flutter 大前端 #技术干货#

【并发编程系列3】volatile内存屏障及实现原理分析(JMM和MESI)

Java 程序员 后端

【Redis系列2】Redis字符串对象之SDS(简单动态字符串)实现原理分析

Java 程序员 后端

质量基础设施一站式综合服务平台,NQI一站式服务线上平台

电微13828808271

万文讲解实时数仓架构演进

大数据技术指南

11月日更

【数据库实验】《小型MIS的开发》

Java 程序员 后端

墨天轮国产数据库沙龙 | 张晓庆:GoldenDB分布式数据库的自动安装与备份恢复

墨天轮

数据库 技术沙龙

亚马逊云科技开源Mountpoint for Amazon S3,通过挂载点技术简化 Amazon S3 对象存储的使用_云原生_Renato Losio_InfoQ精选文章