东亚银行、岚图汽车带你解锁 AIGC 时代的数字化人才培养各赛道新模式! 了解详情
写点什么

Amazon S3 更新,新存储类以及通用版本 S3 Select

  • 2019-10-25
  • 本文字数:1439 字

    阅读完需:约 5 分钟

Amazon S3 更新,新存储类以及通用版本 S3 Select

我收到了两条对于在 Amazon Simple Storage Service (S3) 中存储和检索数据的非常重要的新闻:


新 S3 One Zone-IA 存储类 – 这种新存储类比现有的标准-IA 存储类便宜 20%。它设计用于存储不需要通过地理冗余提供额外保护级别的数据。


通用版本 S3 Select – 这种独特的检索选项可让您利用简单 SQL 表达式从 S3 对象检索数据子集,在此流程中性能提高可能达到 400%。


下面我们来看这两种选项!


S3 One Zone-IA(低频访问)存储类


这种新存储类可将数据存储在单 AWS 可用区中,设计为达到十一个 9 级 (99.99999999%) 的数据耐久性,与其他 S3 存储类相似。与其他类不同的是,它不适合用于应对地震或洪水之类的重大事故导致的 AZ 有形损失,在能够损毁 AZ 的罕见事件中数据可能会丢失。S3 One Zone-IA 存储可使用更低的成本为您提供本地数据辅助备份以及可轻松重新创建的数据。您还可以将其用作其他 AWS 区域的 S3 跨区域复制目标。


您可以指定在您向 S3 上传新对象时使用 S3 One Zone-IA 存储:



您还可以将其用作 S3 生命周期规则的一部分:



您可以设置在 30 天或更多天后将先前版本的对象移至 S3 One Zone-IA 的生命周期规则:



您可以修改现有对象的存储类:



您还可以使用 S3 APICLI 和 CloudFormation 模板管理存储类。


S3 One Zone-IA 存储类可用在所有公有 AWS 区域中。此前我曾提到,定价比 S3 标准-IA 存储类低 20%(请参阅 S3 订价页面以了解详细信息)。最短保留期为 30 天,最小对象大小为 128 KB。


通用版本 S3 Select


Randall 去年撰写了 S3 Select 的详细介绍,向您展示如何使用它从 S3 对象中检索所选的数据。在预览期间,我们增加了对服务器端加密的支持以及从 S3 控制台运行查询的功能。


我使用机场代码的 CSV 文件来执行新控制台功能:



此文件包含超过 9100 个机场的列表,因此有利于获得有用的测试数据,但是肯定不会以任何方式测试 S3 Select 的限制。我选择文件,打开“更多”菜单,并选择“选择自”:



控制台根据文件名和加密状态设置文件格式和压缩率。我设置分隔符,并单击“显示文件预览”以验证我的设置正确。然后,我单击“下一步”继续:



我在 SQL 编辑器中输入 SQL 表达式,并单击“运行 SQL”以发出查询:



或者:



我还可以从 AWS SDK 发出查询。我发起选择操作:


Python


s3 = boto3.client('s3', region_name='us-west-2')
r = s3.select_object_content( Bucket='jbarr-us-west-2', Key='sample-data/airportCodes.csv', ExpressionType='SQL', Expression="select * from s3object s where s.\"Country (Name)\" like '%United States%'", InputSerialization = {'CSV': {"FileHeaderInfo": "Use"}}, OutputSerialization = {'CSV': {}},)
复制代码


然后,我处理结果流:


Python


for event in r['Payload']:    if 'Records' in event:        records = event['Records']['Payload'].decode('utf-8')        print(records)    elif 'Stats' in event:        statsDetails = event['Stats']['Details']        print("Stats details bytesScanned: ")        print(statsDetails['BytesScanned'])        print("Stats details bytesProcessed: ")        print(statsDetails['BytesProcessed'])
复制代码


S3 Select 可用于所有公有区域,您今天就可以开始使用。定价基于扫描的数据量以及返回的数据量。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/amazon-s3-update-new-storage-class-general-availability-of-s3-select/


2019-10-25 08:00671

评论

发布
暂无评论
发现更多内容

软件测试 | 测试开发 | 后端Web开发框架(Java)

测吧(北京)科技有限公司

测试

【JavaScript】巩固JS开发中十个常用功能/案例(11-20)

海底烧烤店ai

算法 前端 JavaScrip 9月月更

软件测试 | 测试开发 | 大话测试数据(一)

测吧(北京)科技有限公司

测试

一加与oppo是什么关系?答案就在这里

Geek_8a195c

小程序与工业互联网能够相辅相成的原因

Geek_99967b

小程序

救火不如防火 IoT平台技术构建智慧消防系统筑牢防火墙

AIRIOT

低代码 物联网 低代码,项目开发

软件测试 | 测试开发 | 只需搞定Docker,环境问题再也不是测开路上的『坑』

测吧(北京)科技有限公司

测试

软件测试 | 测试开发 | 持续交付-Jenkinsfile 语法

测吧(北京)科技有限公司

软件测试 | 测试开发 | web自动化总卡在文件上传和弹框处理上?

测吧(北京)科技有限公司

测试

为何公司的业务都在往小程序化发展

Geek_99967b

小程序

赞!| 龙蜥及其理事分获“2022 OSCAR 尖峰开源社区及项目、尖峰开源人物”奖项

OpenAnolis小助手

开源 龙蜥社区 获奖 理事长 产业大会

4 分钟过一遍 ES12 的 5 个要点~

掘金安东尼

前端 9月月更

软件测试 | 测试开发 | 如何做好性能压测(一):压测环境的设计和搭建

测吧(北京)科技有限公司

测试

软件测试 | 测试开发 |H5性能分析实战来啦~

测吧(北京)科技有限公司

测试

深入浅出带你走进 RocksDB

KaiwuDB

数据库 RocksDB

软件测试 | 测试开发 | 一改测试步骤代码就全写?为什么不试试用 Yaml实现数据驱动?

测吧(北京)科技有限公司

测试

软件测试 | 测试开发 | Docker+Jmeter+InfluxDB+Grafana 搭建性能监控平台

测吧(北京)科技有限公司

测试

一起瓜分20万奖金!第三届火焰杯软件测试大赛开始公开选拔!

霍格沃兹测试开发学社

软件测试 | 测试开发 | 学习Docker就应该掌握的dockerfile语法与指令

测吧(北京)科技有限公司

测试

软件测试 | 测试开发 | 电商业务性能测试(二): Jmeter 参数化功能实现注册登录的数据驱动

测吧(北京)科技有限公司

测试

嗨,程序员,你知道高级工程师用的搜索引擎吗?

梦想橡皮擦

9月月更

不懂就问:“无人驾驶汽车革命”到底进行到哪一步了?

澳鹏Appen

人工智能 自动驾驶 无人驾驶 训练数据 数据训练

软件测试 | 测试开发 | JMeter 典型电商场景(下单/支付)的性能压测

测吧(北京)科技有限公司

测试

软件测试 | 测试开发 | JavaScript脚本注入,完成Selenium 无法做到的那些事

测吧(北京)科技有限公司

测试

哪种企业更需要低代码开发框架

力软低代码开发平台

低代码对接腾讯云-阿里云短信平台

葡萄城技术团队

低代码

每日算法刷题Day15-0到n-1中缺失的数字、调整数组顺序、从尾到头打印链表、用两个栈实现队列

timerring

算法题 9月月更

软件测试 | 测试开发 | 同样是断言,为何 Hamcrest 如此优秀?

测吧(北京)科技有限公司

测试

软件测试 | 测试开发 | 大话JMeter4|不同的并发数可以自动化做压测吗?

测吧(北京)科技有限公司

测试

软件测试 | 测试开发 | 如何确保API 的稳定性与正确性?你只需要这一招

测吧(北京)科技有限公司

测试

使用 Apifox 自动通关"羊了个羊" 1 万次,牛逼大了

Liam

程序员 自动化测试 抓包

Amazon S3 更新,新存储类以及通用版本 S3 Select_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章