最新发布《数智时代的AI人才粮仓模型解读白皮书(2024版)》,立即领取! 了解详情
写点什么

Amazon S3 更新,新存储类以及通用版本 S3 Select

  • 2019-10-25
  • 本文字数:1439 字

    阅读完需:约 5 分钟

Amazon S3 更新,新存储类以及通用版本 S3 Select

我收到了两条对于在 Amazon Simple Storage Service (S3) 中存储和检索数据的非常重要的新闻:


新 S3 One Zone-IA 存储类 – 这种新存储类比现有的标准-IA 存储类便宜 20%。它设计用于存储不需要通过地理冗余提供额外保护级别的数据。


通用版本 S3 Select – 这种独特的检索选项可让您利用简单 SQL 表达式从 S3 对象检索数据子集,在此流程中性能提高可能达到 400%。


下面我们来看这两种选项!


S3 One Zone-IA(低频访问)存储类


这种新存储类可将数据存储在单 AWS 可用区中,设计为达到十一个 9 级 (99.99999999%) 的数据耐久性,与其他 S3 存储类相似。与其他类不同的是,它不适合用于应对地震或洪水之类的重大事故导致的 AZ 有形损失,在能够损毁 AZ 的罕见事件中数据可能会丢失。S3 One Zone-IA 存储可使用更低的成本为您提供本地数据辅助备份以及可轻松重新创建的数据。您还可以将其用作其他 AWS 区域的 S3 跨区域复制目标。


您可以指定在您向 S3 上传新对象时使用 S3 One Zone-IA 存储:



您还可以将其用作 S3 生命周期规则的一部分:



您可以设置在 30 天或更多天后将先前版本的对象移至 S3 One Zone-IA 的生命周期规则:



您可以修改现有对象的存储类:



您还可以使用 S3 APICLI 和 CloudFormation 模板管理存储类。


S3 One Zone-IA 存储类可用在所有公有 AWS 区域中。此前我曾提到,定价比 S3 标准-IA 存储类低 20%(请参阅 S3 订价页面以了解详细信息)。最短保留期为 30 天,最小对象大小为 128 KB。


通用版本 S3 Select


Randall 去年撰写了 S3 Select 的详细介绍,向您展示如何使用它从 S3 对象中检索所选的数据。在预览期间,我们增加了对服务器端加密的支持以及从 S3 控制台运行查询的功能。


我使用机场代码的 CSV 文件来执行新控制台功能:



此文件包含超过 9100 个机场的列表,因此有利于获得有用的测试数据,但是肯定不会以任何方式测试 S3 Select 的限制。我选择文件,打开“更多”菜单,并选择“选择自”:



控制台根据文件名和加密状态设置文件格式和压缩率。我设置分隔符,并单击“显示文件预览”以验证我的设置正确。然后,我单击“下一步”继续:



我在 SQL 编辑器中输入 SQL 表达式,并单击“运行 SQL”以发出查询:



或者:



我还可以从 AWS SDK 发出查询。我发起选择操作:


Python


s3 = boto3.client('s3', region_name='us-west-2')
r = s3.select_object_content( Bucket='jbarr-us-west-2', Key='sample-data/airportCodes.csv', ExpressionType='SQL', Expression="select * from s3object s where s.\"Country (Name)\" like '%United States%'", InputSerialization = {'CSV': {"FileHeaderInfo": "Use"}}, OutputSerialization = {'CSV': {}},)
复制代码


然后,我处理结果流:


Python


for event in r['Payload']:    if 'Records' in event:        records = event['Records']['Payload'].decode('utf-8')        print(records)    elif 'Stats' in event:        statsDetails = event['Stats']['Details']        print("Stats details bytesScanned: ")        print(statsDetails['BytesScanned'])        print("Stats details bytesProcessed: ")        print(statsDetails['BytesProcessed'])
复制代码


S3 Select 可用于所有公有区域,您今天就可以开始使用。定价基于扫描的数据量以及返回的数据量。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/amazon-s3-update-new-storage-class-general-availability-of-s3-select/


2019-10-25 08:00675

评论

发布
暂无评论
发现更多内容

缓存数据的淘汰之路(上)

卢卡多多

28天写作 签约计划第二季 12月日更

博睿数据携手火山引擎,共建新云新未来

博睿数据

想给用户天涯若比邻的体验?业务全球化面临的三重挑战

声网

网络

从实习到秋招成为一名安全工程师,我经历了什么

网络安全学海

面试 网络安全 信息安全 渗透测试 WEB安全

构建信创基础软硬件共同体,DataPipeline与中科曙光完成产品兼容互认证

DataPipeline数见科技

大数据 中间件 服务器 数据融合

普华基础软件加入龙蜥并成为理事单位,共创开源操作系统新生态

OpenAnolis小助手

龙蜥社区

Python Qt GUI设计:菜单栏、工具栏和状态栏的使用方法(拓展篇—2)

不脱发的程序猿

Python qt GUI设计 Qt Creator 菜单栏、工具栏、状态栏

毕业总结

小智

架构训练营

一周信创舆情观察(11.29~12.5)

统小信uos

微信业务架构图&学生管理系统毕业架构设计

Spring

架构实战营

Rust 元宇宙 15 —— 细节和重构

Miracle

rust 元宇宙

ONES X 蓝城兄弟|有机的研发管理改进是最健康的颠覆

万事ONES

项目管理 ONES 项目管理工具

云ERP系统究竟是什么?

低代码小观

流程管理 ERP 业务流程管理 业务流程自动化

基于云的技术架构设计实践-第5篇

hackstoic

数据分析 云原生 数据可视化 业务分析 签约计划第二季

如何验证你的产品创意?

石云升

产品思维 28天写作 12月日更

2600亿!全球最大中文单体模型鹏城-百度·文心发布

百度大脑

人工智能

缓存数据的淘汰之路(下)

卢卡多多

缓存 28天写作 签约计划第二季 12月日更

架构实战营模块一学习总结

Evan

架构实战营

2021年11月云主机性能评测报告

博睿数据

云主机 博睿数据 数据链DNA

使用 HTML、CSS 和 JavaScript 制作的随机密码生成器

海拥(haiyong.site)

JavaScript 密码 28天写作 签约计划第二季 12月日更

自定义View:如何实现点击图标旋转的动画效果

Changing Lin

12月日更

Python代码阅读(第69篇):首字母大小写变换

Felix

Python Code 字符串 阅读代码 Python初学者

Veritas:2022年数据安全及合规领域行业预测

WorkPlus

PackML从会到不会——状态、管理标签(5)

陈的错题集

标准化 PackML

百万级 QPS 业务新宠,金山办公携手 Apache APISIX 打造网关实践新体验

API7.ai 技术团队

云原生 API网关 wps API Gateway Apache APISIX

FPGA大发展!现在或许是从事FPGA行业的最好时代

科技新消息

作业:架构实战营模块1

Poplar89

「架构实战营」

缓存数据的淘汰之路(中)

卢卡多多

缓存 28天写作 签约计划第二季 12月日更

Gartner预测全球人工智能软件市场将在2022年达到620亿美元规模

WorkPlus

架构实战营模块一作业

Evan

架构实战营

你以为Vue3封装一个弹框组件很简单?

CRMEB

Amazon S3 更新,新存储类以及通用版本 S3 Select_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章