写点什么

AWS Snowball Edge——更多存储容量、本地端口与 Lambda 函数

  • 2019-11-15
  • 本文字数:2376 字

    阅读完需:约 8 分钟

AWS Snowball Edge——更多存储容量、本地端口与Lambda函数

正如在之前的文章中已经提到,我们于去年推出了 AWS Snowball 服务(AWS Import/Export Snowbal——利用 Amazon 提供的存储设备一周内传输 1 PB 数据),并随后对各项相关更新进行了整理。总体而言,Snowball 服务最初是一台 50 TB 数据传输设备,其设计目标在于强调物理接入及数据安全等要求。一年之后,这项服务的存储容量有所提升,目前达到 80 TB,同时还增加了任务管理 API、HIPAA 认证、HDFS 导入与 S3 适配机制,同时亦可用于更多 AWS 服务区。


不过最重要的是,这些改进并不会影响该设备的基本特性。一年以来,众多 AWS 客户将初代 Snowball 应用于不同类型的物理环境当中,并借此实现包括大数据、基因组学以及数据收集在内的各类工作负载的迁移工作。我们发现这款设备还拥有更为广泛的施展空间。


很多客户掌握着规模庞大且增长速度极快的数据集(通常达数百 TB),而其网络连接能力无法将这些数据及时上传至云端,同时现有物理环境则几乎达到极限。客户们希望收集产生自农田、工厂、医院、飞机乃至油井中的数据——从车间监控到视频摄制再到物联网设备信息收集。客户希望能够利用单一模式实现高度简化的数据存储与转发,并在数据到达时进行本地处理。他们希望在数据到达时对其进行过滤、清理、分析、组织、追踪、总结以及监测。他们希望扫描输入数据以掌握其模式或者存在的问题,而后在发现特定情况时快速发出通告。

全新 Snowball Edge


现在,我们将Snowball Edge正式加入 AWS 阵容。这款设备扩展了 Snowball 的适用范围,其中包含了更多连接方式、存储资源、集群化横向可扩展性,可立足现有 S3 与 NFS 客户端进行接入的存储端点以及 Lambda 支持下的本地处理功能。


从物理角度讲,Snowball Edge 的设计目标在于提供一套适用于工业、航空航天、农业以及军事类用例的环境。其新的外形设计亦可实现机架内安装,从而帮助大家发挥其中新增的集群化功能。


下面就让我们看看 Snowball Edge 带来的各项新特性!

更多连接选项

Snowball Edge 拥有出色的连接能力,允许大家从多种高速选项中做出选择。在网络方面,大家可以使用 10GBase-T、10 或 25 Gb SFP28 或者 40 Gb QSFP+。您的物联网设备能够利用 3G 蜂窝网络或者 Wi-Fi 向其中上传数据。如果这还不够,Snowball Edge 还提供了一个 PCIe 扩展端口。


如此丰富的连接选项允许大家以高达每秒 14 Gb 的速度将数据复制至 Snowball Edge 当中; 这意味着复制 100 TB 数据仅需要 19 小时左右。而从开始到结束,整个导入周期(即由初始数据传输到数据实现 S3 内可用)大约需要一周,其中包括设备寄送及后续处理的时间。

更高存储容量

Snowball Edge 包含 100 TB 存储容量。

通过集群化方式实现横向扩展

大家可以轻松将两台或者更多 Snowball Edge 设备配置至单一集群当中,从而提升存储容量及耐用性,同时继续通过单一端点访问全部存储内容。举例来说,将六台设备进行集群化对接将能够提供一套存储容量达 400 TB 的集群,其耐用性可达 99.999%。这意味着大家能够移除其中两台设备而数据仍受到严格保护。


大家还可将该集群扩展至 PB 级别,并通过简单移除及接入设备实现规模伸缩。此类集群拥有自我管理能力,大家不需要考虑其软件更新或者其它维护工作。


要构建这样一套集群,大家只需要在设置任务时勾选“Local compute and storage only(只使用本地计算与存储)”选项并随后勾选“Make this a cluster(将此创建为集群)”即可,具体如下图所示:


新的存储端点(S3 与 NFS)

如果您已经拥有某些备份、归档或者数据传输工具,例如 S3 或者 NFS,那么大家可以利用其直接立足 Snowball Edge 实现数据存储及访问。如果大家创建一套包含两台或者更多设备的集群,则同一端点将可适应于其中全部设备; 这意味着大家能够将这类集群视为本地网络附加型存储资源。


Snowball Edge 支持一组强大的 S3 API 子集,其中包括 LIST、GET、PUT、DELETE、HEAD 以及 Multipart Upload。其同时支持 NFS v3 与 NFS 4.1。


在利用 Snowball Edge 作为文件存储网关并通过 NFS 进行访问时,文件与目录元数据(包括对应权限、所有关系以及时间戳)都将被映射至 S3 元数据,并在数据被存储至 S3 内时得以保留。大家可以利用这一特性进行数据迁移、引导 AWS Storage Gateway(存储网关)或者存储内部文件以在各内部应用间实现共享。

Lambda 支持的本地处理

大家现在可以利用 Python 编写 AWS Lambda 函数并利用其处理通过 Snowball Edge 上传至 S3 存储桶内的数据。


这些函数能够(正如之前所提到)在数据到达时对其进行过滤、清理、分析、整理、追踪以及总结。Snowball Edge 允许大家向数据收集及数据处理系统当中添加智能化与高复杂度功能。


我们初步支持 S3 PUT 操作,且大家可以将同一条函数应用于每个存储桶。各函数必须由 Python 编写,且运行在配置有 128 MB 内存的 Lambda 环境当中。


在订购 Snowball Edge 的同时,大家即可进行函数配置:



我们建议大家首先在云端对函数进行测试,而后再将其加入订单。

价格与上线时间

Snowball Edge在设计上允许进行即插即用式部署。您的现场同事不需要对其进行额外配置或者管理。其配备的 LCD 显示面板能够提供状态信息并播放设置视频。内置代码能够自动更新; 意味着其不需要进行例行软件维护。大家可以通过 AWS 管理控制台(亦可通过 API 及 CLI 访问)检查其状态并对已部署设备进行最新配置变化查询。


每台 Snowball Edge 的服务周期价格为 300 美元,寄送成本另计。大家保留每台设备的最长时限为 10 天; 在此之后,您需要每天支付 30 美元。大家可以以本地方式运行 Lambda 函数而不必承担任何费用。


原文链接:


https://aws.amazon.com/cn/blogs/aws/aws-snowball-edge-more-storage-local-endpoints-lambda-functions/


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/aws-snowball-edge-more-storage-local-endpoints-lambda-functions/


2019-11-15 08:00732

评论

发布
暂无评论
发现更多内容

Paper Time 回顾|MB2:为自治数据库建立行为模型

OceanBase 数据库

文档协同工具推荐

Baklib

如何将 NFT 元数据从 IPFS 转移到智能合约中

devpoint

智能合约 NFT Metaverse 7月月更

👈🏻👈🏻👈🏻你来追我呀!Flutter 实现追逐动画

岛上码农

flutter ios 移动端开发 安卓开发 7月月更

承上启下继往开来,Python3上下文管理器(ContextManagers)与With关键字的迷思

刘悦的技术博客

Python 数据库 Python3 上下文 上下文管理器

王者荣耀商城异地多活架构设计

joak

论文领读|面向机器翻译的多语言预训练技术哪家强?最新进展一睹为快!

澜舟孟子开源社区

人工智能 自然语言处理 机器学习 后端 机器翻译

【Docker 那些事儿】容器监控系统,来自Docker的暴击

Albert Edison

Docker 云计算 Kubernetes 云原生 7月月更

深度遍历:统计最高分的节点数目 🐟

空城机

算法题 7月月更

【刷题记录】15.三数之和

WangNing

7月月更

几种2022年流行的跨端技术方案的比较

Geek_99967b

小程序

Docker 搭建 MySQL 主从复制

宁在春

MySQL Docker 主从复制 7月月更

Seata 多语言体系建设

SOFAStack

开源项目 seata 开源软件 多编程语言 项目共建

DeFi 2.0的LaaS协议,重振DeFi赛道发展的关键

BlockChain先知

架构实战营第7模块作业

Geek_53787a

openharmony萌新贡献指南

坚果

开源 HarmonyOS OpenHarmony 7月月更

IMPALA2.12环境安装

怀瑾握瑜的嘉与嘉

7月月更

nacos注册中心之服务地址的查询

急需上岸的小谢

7月月更

典型的数据湖应用案例

五分钟学大数据

数据湖 7月月更

Linux并不是一个操作系统

冯亮

Linux GNU

React Native 跨端框架与小程序混编的方法

Geek_99967b

小程序

MySQL的锁(一)

技术小生

MySQL 7月月更

手把手带你体验Python实现人脸识别

迷彩

人脸识别 7月月更

物联网技术在物联网产业格局的分布与应用

AIRIOT

低代码 物联网 低代码,项目开发

学生思维VS职场思维

KEY.L

力扣第三题——无重复字符的最长子串

为自己带盐

力扣

Baklib:分享一些关于建设企业知识管理(KM)的方法

Baklib

你的技术leader不懂这个?没有它就是没有设计的完成思考过程

田晓亮

方法论 架构设计

如何搭建清晰易懂的数据看板?

字节跳动数据平台

字节跳动 BI BI 分析工具 sentinel dashboard 可视化看板

连接无限·协同无界|融云首届全球企业通信云大会 WECC 来了

融云 RongCloud

通信云

AWS Snowball Edge——更多存储容量、本地端口与Lambda函数_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章