写点什么

AWS Snowmobile——在数周内将数 EB 数据迁移至云端

2019 年 11 月 18 日

AWS Snowmobile——在数周内将数EB数据迁移至云端

将大规模数据由内部环境迁移至云端往往是业务转移工作中的最大挑战——但这种挑战本不必存在。即使配合高速传输连接,将 PB 甚至 EB 规模的影片库、财务记录、卫星图像或者科学数据通过互联网进行转移仍然需要耗时数年甚至数十年。从商业角度来看,添置新型网络或者升级现有连接显然并不现实,特别是考虑到转移完成后数据中心将不再需要这样奢侈的网络资源。


去年我们公布了AWS Snowball服务(具体请参阅AWS Snowball——利用Amazon提供的存储设备在一周内迁移1 PB数据)作为大规模数据迁移的一种可行方案。凭借着 80 TB 高存储容量,这些设备能够很好地解决大多数客户面临的难题,而且其目前已经得到广泛采用。


然而,对于拥有 EB 级别内部存储规模的客户,这 80 TB 容量仍然显得相当可怜。通过计算,他们发现要完成全部数据的迁移需要大量设备,并且需要解决令人头痛的大规模物流寄送问题。


AWS Snowmobile 介绍

为了满足此类客户的实际需求,我们在 AWS re:Invent 2016 上公布了 Snowmobile 服务。这一安全数据存储车可容纳高达 100 PB 数据,从而帮助大家在数周之内将 EB 级别数据迁移至 AWS 当中(如果必要,您还可以使用多辆存储车)。其设计目标在于帮助来自金融服务、媒体及娱乐、科学乃至其它行业的客户解决问题。Snowmobile 可接入您的网络并作为本地 NFS 挂载式分卷使用。大家可利用现有备份与归档工具将需要上传至 Amazon 简单存储服务(简称 S3)或者 Amazon Glacier 的数据导入其中。


从物理结构来看地,Snowmobile 采用一款坚固耐用且难于侵入的,尺寸为 45 英尺长、9.6 英尺高、8 英尺宽海运集装箱作为外壳。Snowmobile 具备防水防恶劣天气设计,能够随意停靠在您现有数据中心附近。每台 Snowmobile 需要使用 350 千瓦交流电源; 如果大家现场不具备充足电力,我们还可提供发电机供其运作。


在安全层面,Snowmobile 将包括从监管追踪到视频监控在内的多个逻辑与物理保护层,并加以结合。用户的数据利用 AWS 密钥管理服务(简称 KMS)提供的密钥进行加密,而后才会被写入设备当中。每套集装箱都配备有 GPS 追踪,其利用蜂窝或者卫星连接与 AWS 方面进行通信。我们将在 Snowmobile 行进过程中安排一辆安保车全程保护。在 Snowmobile 处于您的内部基础设施附近时,我们还可以提供专门的安保人员进行配合。


每台 Snowmobile 中包含一根网络线缆,连接在一台高速交换机上,能够通过多条 40 Gb/S 的连接以 1 Tb/S 的速率传输数据,从而实现高速数据交换能力。假定大家的现有网络能够在传输速度上达到这一水平,则可在约 10 天时间内装满一台 Snowmobile。


Snowmobile 的运作

我个人手头没有 EB 级别数据中心,我当然也没有足够的空间容纳这一 45 英尺长的大型集装箱。不过为了帮助大家更好地理解 Snowmobile 的运作流程,我决定使用自己的乐高组装台,并借此建立起一套缩小模型。我希望大家能够喜欢这种以小见大的解释方式!


下面从客户的数据中心起步。其之前就已经构建完成,而且已经颇有年头。机架中塞满了不同年份的磁盘与磁带驱动器,每一台都包含有珍贵的关键性业务数据。而您和您的同事则不得不将大量时间投入到规划楼层面积、追踪线路排布以及尽可能压榨性能方面:



而管理者则越来越沮丧,不知道这样勉强为之的作法还能持续多久:



幸运的是,一位同事每天都在关注博客,而她借此找到了解决问题的办法:



在与 AWS 进行通话之后,双方很快安排了一次会议:



大家齐聚 AWS 办公室,希望了解更多与 Snowmobile 以及迁移计划相关的细节信息:



大家围在 Snowmobile 微缩模型周边,连小狗也来凑热闹。管理者则拍下了照片:



一辆 Snowmobile 出现在您的数据中心附近:



AWS Professional Services(专业服务)帮助大家将其与设施对接,从而开始进行数据传输:



Snowmobile 重新驶回 AWS,而您的数据亦按照指定要求导入至云端!


Snowmobile 在 DigitalGlobe 的表现

作为我们的合作伙伴,DigitalGlobe 公司利用 Snowmobile 将 100 PB 卫星图像数据迁移至 AWS 当中。以下为 Jay Littlepage(前 Amazon 员工,现任 DigitalGlobe 公司基础设施与运营副总裁)对于这项服务的评论:


与多数大型企业一样,我们也在努力将 IT 运营负载由自有数据中心迁移至 AWS。我们的地理空间大数据平台 GBDX 自建立以来始终以 AWS 作为运行基础。但我们的高分辨率卫星影像已经拥有 16 年的收集历史,其覆盖地球表面 60 亿平方



公里面积且始终存放在自有设施之内。我们虽然已经开始将归档逐步迁移至 AWS,但整个过程缓慢且效率低下。我们的卫星每年都在生成更多地球拍摄影像(10 PB),而其总量甚至超过了以往迁移能力的上限。


我们需要一套解决方案,能够把我们现有的 100 PB 归档快速迁移至 AWS 环境当中,但在 Snowmobile 出现之后并无可行的途径可用。DigitalGlobe 公司目前能够将全部原始影像归档直接通过一辆 Snowmobile 转移至 Amazon Glacier 存储库内。AWS Snowmobile 运营人员提供极为出色的定制化服务,他们协助进行了配置、监控与物流追踪。利用 Snowmobile 强大的数据传输能力,我们得以越来越快地将影像归档导入至 AWS 端,这使得我们的客户及合作伙伴能够快速获取海量数据集。通过在 GBDX 当中使用 AWS 的弹性计算平台,我们将能够运行分布式图像分析、以前所未有的速度揭示全球范围内的环境变化速度与格局发展趋势,并以较内部设施更具成本效益的方式获得洞察结论。如果没有 Snowmobile,我们无法在这么短的时间内传递如此庞大的数据集或者为客户创造新的商业机遇。Snowmobile 已经成为真正的游戏规则改变者!


需要了解的情况

以下为大家应当了解的,与 Snowmobile 相关的一些情况:


数据导出——这项服务的最初目标在于实现面向 AWS 的数据导入。但我们很清楚,也有一部分客户希望借此实现数据导出,从而建立起更为快速高效的灾难恢复用例。


推出时间——Snowmobile 目前已经在全部 AWS 服务区正式上线。正如在以上章节中所提到,其并不属于自助服务型产品。大家可以同 AWS 方面的销售人员讨论实际需求以及需要进行导入的具体数据类型与规模。


价格——目前还无法公布确切的定价信息。然而,我们可以保证 Snowmobile 在速度与实施成本上优于基于网络的数据传输模式。


-Jeff


原文链接:


https://aws.amazon.com/cn/blogs/aws/aws-snowmobile-move-exabytes-of-data-to-the-cloud-in-weeks/


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/aws-snowmobile-move-exabytes-of-data-to-the-cloud-in-weeks/


2019 年 11 月 18 日 08:00140

欲了解 AWS 的更多信息,请访问【AWS 技术专区】

评论

发布
暂无评论
发现更多内容

Wireshark数据包分析学习笔记Day23

穿过生命散发芬芳

Wireshark 数据包分析 3月日更

2020年京东161亿研发费用,钱怎么花的?

吴俊宇

投资 数字化 京东

区块链农产品溯源平台搭建,一物一码追溯系统

13823153121

I/O多路复用之EPOLL

namelij

python 国际化实践

walker12138

Python flask i18n

【OpenPyXL】对Excel单元格的操作

Tango

办公自动化 3月日更 IT蜗壳教学

LeetCode题解:剑指 Offer 49. 丑数,暴力法,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

安卓推送一体解决方案

融云 RongCloud

从低代码/无代码烂大街的吃瓜群众说起

李小腾

低代码 无代码开发

java集合【12】——— ArrayList,LinkedList,Vector的相同点与区别是什么?

秦怀杂货店

Java 源码 集合

中国唯一入选 Forrester 领导者象限,阿里云 Serverless 产品能力全球第一

阿里云原生团队

阿里云 Serverless Forrester Wave

【得物技术】出价组DDD分层模型总结

得物技术

技术 总结 DDD 模型 出价

不愧是Alibaba技术官:程序员必会的架构知识清单,如何让你技术上的提升面试时的丰收

Java成神之路

Java 程序员 架构 面试 编程语言

天天CRUD,被领导怼,我是如何从小公司菜鸡到阿里P8架构师?,首次分享Java程序员黄金五年进阶心得

Java成神之路

Java 程序员 架构 面试 编程语言

喜提offer!支付宝Java研发岗四面,从基础到项目在到架构与业务

Java成神之路

Java 程序员 架构 面试 编程语言

视频云大赛|视频目标分割,下一个视频算法技术爆发点?

阿里云视频云

阿里云 算法 计算机视觉 音视频

构建互联网医疗平台的Devops应用架构

读字节

DevOps 微服务 互联网架构 医疗 医疗中台

寻找被遗忘的勇气(二十六)

Changing Lin

3月日更

Instagram视频下载器: 4K Video Downloader

科技猫

软件 音视频 经验分享 资源分享 工具分享

HPE的通信技术集团将如何加速电信5G的普及和应用?

VoltDB

数据库 5G VoltDB 电信

身份验证会影响用户体验吗?

龙归科技

身份认证 用户体验 安全性

重磅官宣:Nacos2.0发布,性能提升10倍

阿里云原生团队

云计算 开源 nacos

百位优质创作者签约计划|声网签约权益

InfoQ写作平台官方

活动专区 签约计划

爱奇艺大数据生态的实时化建设

爱奇艺技术产品团队

大数据 实时数仓 数据流

量化交易系统开发;量化策略软件,马丁策略交易

13823153121

TcaplusDB X 秦时明月世界 |3月26日不删档测试正式开启

TcaplusDB

数据库 分布式 游戏 TcaplusDB

融云2021 X-Meetup启航 探索高并发下的高质量实时通信架构设计

融云 RongCloud

浅谈I/O多路复用

namelij

百位优质创作者签约计划|InfoQ 签约权益

InfoQ写作平台官方

活动专区 签约计划

常考面试题之css篇

小啵

一、建立Redis的整体认知

鹿洺

Redis 核心技术与实战

演讲经验交流会|ArchSummit 上海站

演讲经验交流会|ArchSummit 上海站

AWS Snowmobile——在数周内将数EB数据迁移至云端-InfoQ