写点什么

AWS Snowball Edge——更多存储容量、本地端口与 Lambda 函数

  • 2019-11-15
  • 本文字数:2376 字

    阅读完需:约 8 分钟

AWS Snowball Edge——更多存储容量、本地端口与Lambda函数

正如在之前的文章中已经提到,我们于去年推出了 AWS Snowball 服务(AWS Import/Export Snowbal——利用 Amazon 提供的存储设备一周内传输 1 PB 数据),并随后对各项相关更新进行了整理。总体而言,Snowball 服务最初是一台 50 TB 数据传输设备,其设计目标在于强调物理接入及数据安全等要求。一年之后,这项服务的存储容量有所提升,目前达到 80 TB,同时还增加了任务管理 API、HIPAA 认证、HDFS 导入与 S3 适配机制,同时亦可用于更多 AWS 服务区。


不过最重要的是,这些改进并不会影响该设备的基本特性。一年以来,众多 AWS 客户将初代 Snowball 应用于不同类型的物理环境当中,并借此实现包括大数据、基因组学以及数据收集在内的各类工作负载的迁移工作。我们发现这款设备还拥有更为广泛的施展空间。


很多客户掌握着规模庞大且增长速度极快的数据集(通常达数百 TB),而其网络连接能力无法将这些数据及时上传至云端,同时现有物理环境则几乎达到极限。客户们希望收集产生自农田、工厂、医院、飞机乃至油井中的数据——从车间监控到视频摄制再到物联网设备信息收集。客户希望能够利用单一模式实现高度简化的数据存储与转发,并在数据到达时进行本地处理。他们希望在数据到达时对其进行过滤、清理、分析、组织、追踪、总结以及监测。他们希望扫描输入数据以掌握其模式或者存在的问题,而后在发现特定情况时快速发出通告。

全新 Snowball Edge


现在,我们将Snowball Edge正式加入 AWS 阵容。这款设备扩展了 Snowball 的适用范围,其中包含了更多连接方式、存储资源、集群化横向可扩展性,可立足现有 S3 与 NFS 客户端进行接入的存储端点以及 Lambda 支持下的本地处理功能。


从物理角度讲,Snowball Edge 的设计目标在于提供一套适用于工业、航空航天、农业以及军事类用例的环境。其新的外形设计亦可实现机架内安装,从而帮助大家发挥其中新增的集群化功能。


下面就让我们看看 Snowball Edge 带来的各项新特性!

更多连接选项

Snowball Edge 拥有出色的连接能力,允许大家从多种高速选项中做出选择。在网络方面,大家可以使用 10GBase-T、10 或 25 Gb SFP28 或者 40 Gb QSFP+。您的物联网设备能够利用 3G 蜂窝网络或者 Wi-Fi 向其中上传数据。如果这还不够,Snowball Edge 还提供了一个 PCIe 扩展端口。


如此丰富的连接选项允许大家以高达每秒 14 Gb 的速度将数据复制至 Snowball Edge 当中; 这意味着复制 100 TB 数据仅需要 19 小时左右。而从开始到结束,整个导入周期(即由初始数据传输到数据实现 S3 内可用)大约需要一周,其中包括设备寄送及后续处理的时间。

更高存储容量

Snowball Edge 包含 100 TB 存储容量。

通过集群化方式实现横向扩展

大家可以轻松将两台或者更多 Snowball Edge 设备配置至单一集群当中,从而提升存储容量及耐用性,同时继续通过单一端点访问全部存储内容。举例来说,将六台设备进行集群化对接将能够提供一套存储容量达 400 TB 的集群,其耐用性可达 99.999%。这意味着大家能够移除其中两台设备而数据仍受到严格保护。


大家还可将该集群扩展至 PB 级别,并通过简单移除及接入设备实现规模伸缩。此类集群拥有自我管理能力,大家不需要考虑其软件更新或者其它维护工作。


要构建这样一套集群,大家只需要在设置任务时勾选“Local compute and storage only(只使用本地计算与存储)”选项并随后勾选“Make this a cluster(将此创建为集群)”即可,具体如下图所示:


新的存储端点(S3 与 NFS)

如果您已经拥有某些备份、归档或者数据传输工具,例如 S3 或者 NFS,那么大家可以利用其直接立足 Snowball Edge 实现数据存储及访问。如果大家创建一套包含两台或者更多设备的集群,则同一端点将可适应于其中全部设备; 这意味着大家能够将这类集群视为本地网络附加型存储资源。


Snowball Edge 支持一组强大的 S3 API 子集,其中包括 LIST、GET、PUT、DELETE、HEAD 以及 Multipart Upload。其同时支持 NFS v3 与 NFS 4.1。


在利用 Snowball Edge 作为文件存储网关并通过 NFS 进行访问时,文件与目录元数据(包括对应权限、所有关系以及时间戳)都将被映射至 S3 元数据,并在数据被存储至 S3 内时得以保留。大家可以利用这一特性进行数据迁移、引导 AWS Storage Gateway(存储网关)或者存储内部文件以在各内部应用间实现共享。

Lambda 支持的本地处理

大家现在可以利用 Python 编写 AWS Lambda 函数并利用其处理通过 Snowball Edge 上传至 S3 存储桶内的数据。


这些函数能够(正如之前所提到)在数据到达时对其进行过滤、清理、分析、整理、追踪以及总结。Snowball Edge 允许大家向数据收集及数据处理系统当中添加智能化与高复杂度功能。


我们初步支持 S3 PUT 操作,且大家可以将同一条函数应用于每个存储桶。各函数必须由 Python 编写,且运行在配置有 128 MB 内存的 Lambda 环境当中。


在订购 Snowball Edge 的同时,大家即可进行函数配置:



我们建议大家首先在云端对函数进行测试,而后再将其加入订单。

价格与上线时间

Snowball Edge在设计上允许进行即插即用式部署。您的现场同事不需要对其进行额外配置或者管理。其配备的 LCD 显示面板能够提供状态信息并播放设置视频。内置代码能够自动更新; 意味着其不需要进行例行软件维护。大家可以通过 AWS 管理控制台(亦可通过 API 及 CLI 访问)检查其状态并对已部署设备进行最新配置变化查询。


每台 Snowball Edge 的服务周期价格为 300 美元,寄送成本另计。大家保留每台设备的最长时限为 10 天; 在此之后,您需要每天支付 30 美元。大家可以以本地方式运行 Lambda 函数而不必承担任何费用。


原文链接:


https://aws.amazon.com/cn/blogs/aws/aws-snowball-edge-more-storage-local-endpoints-lambda-functions/


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/aws-snowball-edge-more-storage-local-endpoints-lambda-functions/


2019-11-15 08:00807

评论

发布
暂无评论
发现更多内容

SDN与SD-WAN的交集和区别

Ogcloud

SD-WAN 企业组网 SD-WAN组网 SD-WAN服务商 SDWAN

K8S集群中使用JDOS KMS服务对敏感数据安全加密

京东科技开发者

【原创】【深入浅出系列】之代码可读性

京东科技开发者

观测云:技术创新与敏捷迭代的先锋

可观测技术

数据分析

共情财务业务一体化管理,成为企业合作伙伴的拥护者

智达方通

企业管理 企业转型 全面预算管理 财务管理 财务转型

持续迭代:观测云的产品进化论

可观测技术

持续迭代

易点天下KreadoAI爆款视频生成功能上新 解锁出海营销新路径

新消费日报

全栈监控:一目了然的 IT 管理

可观测技术

监控

从闪存普惠,到数字化普惠:极简全闪数据中心引发的变革

脑极体

AI

实用指南|在多云环境中部署向量数据库

Zilliz

大数据 向量数据库 LLM 大语言模型 AICG

京东面试:说说CMS工作原理?

王磊

vue前端自适应布局,一步到位所有自适应

不在线第一只蜗牛

Vue 前端

相聚中国香港,共赢智能未来!华为云邀您共赴 KubeCon China 2024

华为云原生团队

云计算 云原生 KubeCON AI 人工智能

JNPF快速开发平台赋能数字办公方式转变

不在线第一只蜗牛

低代码 数字化转型 数字化办公

Pinterest:从 Druid 到 StarRocks,实现 6 倍成本效益比提升

StarRocks

Druid Pinterest

观测云突变告警,精准预测云原生的系统异常

观测云

云原生 监控告警

就一次!带你彻底搞懂CSRF攻击与防御

我再BUG界嘎嘎乱杀

黑客 网络安全 信息安全 CSRF 网安

XIAOJUSURVEY重磅升级,推出图形化逻辑编排能力

XIAOJUSURVEY

开源 规则引擎 可视化编排 图形化编排 问卷逻辑

华为大咖说丨当“AI大潮”来袭时,你是否还在“裸泳”?

人工智能 华为云

MySQL5.7 中连续 Crash 引发 GTID 丢失

爱可生开源社区

MySQL 数据库

2024 年 7 月公链行业研报:市场波动中 Solana 表现抢眼,Layer 2 竞争白热化

Footprint Analytics

比特币 以太坊 公链 #区块链

Elasticsearch Mapping类型修改

京东科技开发者

IPLC、IEPL与MPLS的对比分析

Ogcloud

MPLS 企业组网 企业网络 IPLC IEPL

按需扩展,成本优化:灵活的服务配置

可观测技术

成本优化

解锁企业成功密码—商品计划的神奇力量

第七在线

Kubernetes 监控:观测云与 Prometheus CRD 的集成

可观测技术

Kubernetes

某个国外的真实XSS漏洞利用探寻

我再BUG界嘎嘎乱杀

黑客 网络安全 信息安全 XSS 漏洞

智源未来选择 TDengine Cloud,解锁高效能源管理

TDengine

AWS Snowball Edge——更多存储容量、本地端口与Lambda函数_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章