【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

Amazon S3 提升请求速率性能并减少随机前缀使用需求

  • 2018-10-15
  • 本文字数:1674 字

    阅读完需:约 5 分钟

Amazon Web Services(AWS)最近宣布了S3 请求速率得到显著性能,并能够并行化请求以扩展到所需的吞吐量。值得注意的是,这种性能提升还“移除了随机化对象前缀的任何先导”,并可以在S3 对象命名中使用“逻辑或顺序命名模式,而不会对性能产生任何影响”。

Amazon Simple Storage Service(Amazon S3)是一种对象存储服务,用于“随时随地存储和检索任意数量的数据”。业界将其作为各种大型场景的存储后端,客户在向服务传输对象或从服务获取对象时往往需要非常高的吞吐量。根据S3请求速率和性能指南,应用程序现在可以实现“每秒至少3,500 次PUT/POST/DELETE 和5,500 次GET 请求”,高于之前的“每秒300 PUT/LIST/DELETE 或800 多次GET 请求“。

一个重要的方面是S3 现在还自动根据“桶的前缀”提供这种吞吐量的提升,并且“前缀的数量没有限制”,这意味着应用程序可以使用并行所需的前缀来实现所需的吞吐量,并“通过计算集群的因子”有效地扩展S3 性能。除此之外,这种大规模的高性能S3 不再需要随机对象命名。

这一显著变化的技术细节目前还没有文档化,但之前版本的性能指南说明了常用场景面临的一些底层的挑战,如在上传大量对象时,“客户有时候会使用序号或日期和时间作为键名称的一部分”(根据 Internet Archive 2017-17-29 数据):

复制代码
examplebucket/2013-26-05-15-00-00/cust1234234/photo1.jpg
examplebucket/2013-26-05-15-00-00/cust3857422/photo2.jpg
examplebucket/2013-26-05-15-00-00/cust1248473/photo2.jpg
examplebucket/2013-26-05-15-00-00/cust8474937/photo2.jpg
examplebucket/2013-26-05-15-00-00/cust1248473/photo3.jpg
...
examplebucket/2013-26-05-15-00-01/cust1248473/photo4.jpg
examplebucket/2013-26-05-15-00-01/cust1248473/photo5.jpg
examplebucket/2013-26-05-15-00-01/cust1248473/photo6.jpg
examplebucket/2013-26-05-15-00-01/cust1248473/photo7.jpg
...

使用带有顺序前缀的大量对象会引入性能问题,因为它增加了“Amazon S3 将大量键定位到特定分区的可能性,从而压垮分区的 I/O 容量”。这个问题只能通过人工命名约定来缓解,例如添加哈希键前缀或反向嵌入 ID,用以随机化键名和分区访问。

这些技术限制对于应用程序设计来说是不太友好的,并且 AWS 也承认这种“随机性确实会引入一些有趣的挑战”,例如,“当你想列出键名称中具有特定日期的键”。后来,S3 分区机制进行了重新设计,架构师和开发人员现在可以设计和实现 S3 支持的应用程序,并严格使用面向用例的命名方案。

云经济学家兼“ Last week in AWS ”作者 Corey Quinn 在他的文章“S3 is faster" doesn’t do it justice 中称赞了这一改进:

[…] 将实现细节呈现给客户是历史遗留问题。你应该在不需要了解服务如何运作的情况下获得可接受的性能。我很高兴这个历史遗留问题现在被丢进了历史垃圾箱 […]

对于 GET 密集型的工作负载,AWS 建议继续使用它的内容交付网络(CDN) Amazon CloudFront ,以进一步优化延迟和传输速率,同时降低成本。

根据存储性能和可扩展性核对清单提供的指南,微软Azure 的Blob Storage 使用“基于范围的分区方案来伸缩系统和进行负载均衡”。根据“ optimizing your Cloud Storage performance ”的说明,Google Cloud Platform 的 Cloud Storage“通过文件的名称 / 路径对上传连接进行自动均衡,分配到多个后端分片 […]”。因此,两种服务都建议使用基于显式哈希前缀而不是顺序命名方案来优化大规模场景下的性能。

在相关的新闻中,Amazon S3 最近宣布了基于对象标签的选择性跨区域复制,以及 S3 Select 的特性增强,这两者都可以进一步提高特定用例的性能。

Amazon S3 文档提供了一个开发者指南,包括性能优化 API 参考。除了支持常规 S3 API 之外,AWS CLI 还提供更高级别的S3 命令,以便更有效地复制、移动和同步大量对象。 Amazon Simple Storage Service(S3)论坛为此提供支持。在 Amazon S3 常规定价之外,所有客户都可以自动获得所有的改进,而无需支付额外费用。

查看英文原文 Amazon S3 Increases Request Rate Performance and Drops Randomized Prefix Requirement

2018-10-15 04:571454
用户头像

发布了 731 篇内容, 共 432.2 次阅读, 收获喜欢 1997 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

博睿数据入选首批欧拉技术测评方案,为欧拉生态开发者应用体验保驾护航

博睿数据

飞桨EasyDL助力资讯网站实现信息自动分类

百度大脑

一文带你使用 Apache IoTDB 系统监控模块

Apache IoTDB

这款神器大大提升了协作效率!

Liam

后端 Jmeter Postman swagger Mock

在线CSV转SQL工具

入门小站

工具

同事删库跑路后,我连表名都不能修改了?

码农参上

数据库 数据恢复 权限 删库 4月月更

QIP 25周年

亚马逊云科技 (Amazon Web Services)

量子计算 量子技术 量子纠错

实例解析山路十八弯的Flutter 2.0路由

岛上码农

flutter ios 安卓开发 4月月更 跨平台开发

让我们开始使用 Amazon Lambda

亚马逊云科技 (Amazon Web Services)

Serverless 云原生 亚马逊云科技 云技能

Docker 实战教程之从入门到提高 (五)

Jerry Wang

Docker 容器 虚拟化 容器镜像 4月月更

社区动态|Apache Doris 迎来第 300 位 Contributor !

ApacheDoris

大数据 开源 OLAP MPP apache doris

审核和审批的区别

秋去冬来春未远

程序员=沉闷无趣?都是刻板印象…

LigaAI

程序员人生 程序猿

自研消息队列之消息队列数据库表设计

晨亮

「架构实战营」

智慧零售产业应用实战,30分钟上手的高精度商品识别

百度大脑

易观分析:三大协会发声NFT,未来监管走向几何?

易观分析

区块链 NFT

JS/TS项目里的Module都是什么?

华为云开发者联盟

js Module loaders bundlers

linux之iconv命令

入门小站

Linux

揭露sealer背后实现整个集群一键交付的奥秘 | 龙蜥技术

OpenAnolis小助手

开源 sealer 龙蜥技术 镜像集群

5. 堪比JMeter的.Net压测工具 - Crank 实战篇 - 接口以及场景压测

MASA技术团队

C# .net 微软 测试 压测

在线字节转换工具

入门小站

工具

内网渗透(蚁剑+MSF)

喀拉峻

网络安全 WEB安全 内网渗透

coreldraw2022订阅版本最新版本简介

茶色酒

cdr2022

虎符研究院|币圈后浪MetaAds——现实与元宇宙的展示平台

区块链前沿News

虎符交易所

2022年全新FFmpeg/WebRTC/RTMP/RTSP/HLS/RTP播放器-音视频流媒体高级开发学习大纲

赖猫

音视频开发 音视频技术

14年软件开发经历IT:低代码已成为企业管理的核心引擎

一只大光圈

钉钉 低代码 IT 数字化 钉钉宜搭

【深度分享】阿里云架构师解读四大主流游戏架构

阿里云弹性计算

游戏

五大应用示范,为社区/企业防疫管理减负提效

明道云

3月券商App行情刷新及交易体验评测报告,国泰君安再夺领导者冠军

博睿数据

16 张图 | Nacos 架构原理①:一条注册请求会经历什么?

悟空聊架构

nacos 注册中心 4月日更 悟空聊架构 4月月更

Tiger DAO VC:将你的风险投资变成DAO组织协同

BlockChain先知

Amazon S3提升请求速率性能并减少随机前缀使用需求_语言 & 开发_Steffen Opel_InfoQ精选文章