正如在之前的文章中已经提到，我们于去年推出了 AWS Snowball 服务（AWS Import/Export Snowbal——利用 Amazon 提供的存储设备一周内传输 1 PB 数据），并随后对各项相关更新进行了整理。总体而言，Snowball 服务最初是一台 50 TB 数据传输设备，其设计目标在于强调物理接入及数据安全等要求。一年之后，这项服务的存储容量有所提升，目前达到 80 TB，同时还增加了任务管理 API、HIPAA 认证、HDFS 导入与 S3 适配机制，同时亦可用于更多 AWS 服务区。
不过最重要的是，这些改进并不会影响该设备的基本特性。一年以来，众多 AWS 客户将初代 Snowball 应用于不同类型的物理环境当中，并借此实现包括大数据、基因组学以及数据收集在内的各类工作负载的迁移工作。我们发现这款设备还拥有更为广泛的施展空间。
很多客户掌握着规模庞大且增长速度极快的数据集（通常达数百 TB），而其网络连接能力无法将这些数据及时上传至云端，同时现有物理环境则几乎达到极限。客户们希望收集产生自农田、工厂、医院、飞机乃至油井中的数据——从车间监控到视频摄制再到物联网设备信息收集。客户希望能够利用单一模式实现高度简化的数据存储与转发，并在数据到达时进行本地处理。他们希望在数据到达时对其进行过滤、清理、分析、组织、追踪、总结以及监测。他们希望扫描输入数据以掌握其模式或者存在的问题，而后在发现特定情况时快速发出通告。
全新 Snowball Edge
现在，我们将Snowball Edge正式加入 AWS 阵容。这款设备扩展了 Snowball 的适用范围，其中包含了更多连接方式、存储资源、集群化横向可扩展性，可立足现有 S3 与 NFS 客户端进行接入的存储端点以及 Lambda 支持下的本地处理功能。
从物理角度讲，Snowball Edge 的设计目标在于提供一套适用于工业、航空航天、农业以及军事类用例的环境。其新的外形设计亦可实现机架内安装，从而帮助大家发挥其中新增的集群化功能。
下面就让我们看看 Snowball Edge 带来的各项新特性！
更多连接选项
Snowball Edge 拥有出色的连接能力，允许大家从多种高速选项中做出选择。在网络方面，大家可以使用 10GBase-T、10 或 25 Gb SFP28 或者 40 Gb QSFP+。您的物联网设备能够利用 3G 蜂窝网络或者 Wi-Fi 向其中上传数据。如果这还不够，Snowball Edge 还提供了一个 PCIe 扩展端口。
如此丰富的连接选项允许大家以高达每秒 14 Gb 的速度将数据复制至 Snowball Edge 当中; 这意味着复制 100 TB 数据仅需要 19 小时左右。而从开始到结束，整个导入周期（即由初始数据传输到数据实现 S3 内可用）大约需要一周，其中包括设备寄送及后续处理的时间。
更高存储容量
Snowball Edge 包含 100 TB 存储容量。
通过集群化方式实现横向扩展
大家可以轻松将两台或者更多 Snowball Edge 设备配置至单一集群当中，从而提升存储容量及耐用性，同时继续通过单一端点访问全部存储内容。举例来说，将六台设备进行集群化对接将能够提供一套存储容量达 400 TB 的集群，其耐用性可达 99.999%。这意味着大家能够移除其中两台设备而数据仍受到严格保护。
大家还可将该集群扩展至 PB 级别，并通过简单移除及接入设备实现规模伸缩。此类集群拥有自我管理能力，大家不需要考虑其软件更新或者其它维护工作。
要构建这样一套集群，大家只需要在设置任务时勾选“Local compute and storage only（只使用本地计算与存储）”选项并随后勾选“Make this a cluster（将此创建为集群）”即可，具体如下图所示：
新的存储端点（S3 与 NFS）
如果您已经拥有某些备份、归档或者数据传输工具，例如 S3 或者 NFS，那么大家可以利用其直接立足 Snowball Edge 实现数据存储及访问。如果大家创建一套包含两台或者更多设备的集群，则同一端点将可适应于其中全部设备; 这意味着大家能够将这类集群视为本地网络附加型存储资源。
Snowball Edge 支持一组强大的 S3 API 子集，其中包括 LIST、GET、PUT、DELETE、HEAD 以及 Multipart Upload。其同时支持 NFS v3 与 NFS 4.1。
在利用 Snowball Edge 作为文件存储网关并通过 NFS 进行访问时，文件与目录元数据（包括对应权限、所有关系以及时间戳）都将被映射至 S3 元数据，并在数据被存储至 S3 内时得以保留。大家可以利用这一特性进行数据迁移、引导 AWS Storage Gateway（存储网关）或者存储内部文件以在各内部应用间实现共享。
Lambda 支持的本地处理
大家现在可以利用 Python 编写 AWS Lambda 函数并利用其处理通过 Snowball Edge 上传至 S3 存储桶内的数据。
这些函数能够（正如之前所提到）在数据到达时对其进行过滤、清理、分析、整理、追踪以及总结。Snowball Edge 允许大家向数据收集及数据处理系统当中添加智能化与高复杂度功能。
我们初步支持 S3 PUT 操作，且大家可以将同一条函数应用于每个存储桶。各函数必须由 Python 编写，且运行在配置有 128 MB 内存的 Lambda 环境当中。
在订购 Snowball Edge 的同时，大家即可进行函数配置：
我们建议大家首先在云端对函数进行测试，而后再将其加入订单。
价格与上线时间
Snowball Edge在设计上允许进行即插即用式部署。您的现场同事不需要对其进行额外配置或者管理。其配备的 LCD 显示面板能够提供状态信息并播放设置视频。内置代码能够自动更新; 意味着其不需要进行例行软件维护。大家可以通过 AWS 管理控制台（亦可通过 API 及 CLI 访问）检查其状态并对已部署设备进行最新配置变化查询。
每台 Snowball Edge 的服务周期价格为 300 美元，寄送成本另计。大家保留每台设备的最长时限为 10 天; 在此之后，您需要每天支付 30 美元。大家可以以本地方式运行 Lambda 函数而不必承担任何费用。
原文链接：
https://aws.amazon.com/cn/blogs/aws/aws-snowball-edge-more-storage-local-endpoints-lambda-functions/
本文转载自 AWS 技术博客。
原文链接：
分布式云行业实践指南（2023）
业内首个分布式云行业实践方法论、工具箱。
评论