10 月,开发者不可错过的开源大数据大会-2021 WeDataSphere 社区大会深圳站 了解详情
写点什么

AWS DataSync , 数据传输自动化和加速

2019 年 10 月 15 日

AWS DataSync , 数据传输自动化和加速

很多 AWS 客户告诉我们,他们需要将大量数据移入和移出 AWS 云。他们的用例包括:


迁移 – 一些客户拥有大量数据集,而且这些数据集处于不断变化的状态。他们没有可以使用的自然中断或停止点来实现一次性传输。


上传和处理 – 其他客户定期在本地生成大量数据集,以便在云中进行处理。这包括我们在媒体和娱乐、石油和天然气以及生命科学行业的客户。


备份/DR – 最后,其他客户将其宝贵的本地数据复制到云中以便妥善保管并确保业务连续性。


这些客户都需要规模化工作! 数十或数百 TB 数据的一次性或定期传输是非常常见的。在这种规模下,有效利用网络带宽和实现高吞吐量是必不可少的,可靠性、安全性和易用性同样重要。


隆重推出 AWS DataSync


今天,我们的数据传输服务组合喜添新成员 AWS DataSync。AWS DataSync 与 AWS Snowball、AWS Snowmobile、Kinesis Data Firehose、S3 Transfer Acceleration 和 AWS Storage Gateway 相结合,围绕超高效、专用数据传输协议构建,其运行速度是开源数据传输速度的 10 倍。它易于设置和使用(可以使用控制台和 CLI 访问),并可以无限扩展!


AWS DataSync 是托管服务,您只需为您传输的数据付费。它可以通过 Internet 或 AWS Direct Connect 将本地数据同步到 Amazon Simple Storage Service (S3) 存储桶或 Amazon Elastic File System,还可以从 AWS 同步到本地存储的数据。


AWS DataSync 代理是该服务的重要组成部分。您可以在本地数据中心部署 VM,它将充当 NFS 存储的客户端并加速数据传输。


AWS DataSync 实际操作


我们来体验一下 AWS DataSync! AWS DataSync 团队为我设置了包含代理和 NFS 服务器的测试环境。


通过使用代理的公共 IP 地址,我打开 AWS DataSync 控制台并单击开始使用:



我的用例是本地到 AWS。我选择该选项,然后单击 Create agent(创建代理),连接到我的本地代理:



我下载并运行 VM 映像(这里已经为我准备好了),输入代理的公共 IP 地址,然后单击 Get key(获取密钥)。然后为我的代理命名并添加标记,接着单击 Create agent(创建代理):



我的代理已经准备就绪,我已准备好创建一个 DataSync 任务来指示我想要同步的内容和同步时间! 我单击 Create task(创建任务)来执行此操作:



再次选择我的用例,然后单击下一步以继续:



我创建一个源位置并将其指向我的 NFS 服务器,然后单击下一步(我可以配置和使用多个代理以提高总体吞吐量):



现在我创建一个目标位置,在 EFS 文件系统和 S3 存储桶之间进行选择:



接下来,创建我的任务。我为其命名并接受所有默认值,并在下一页上查看它(未显示)。如您所见,我可以选择控制复制、文件管理和带宽使用等选项:



我的任务已准备就绪:



我选择按原样运行,或覆盖我的设置:



传输立即开始,我可以看到它的进展情况:



传输通过 SSL 连接进行;我的存储桶快速被文件填满:



我可以看到最终状态:



如果我再次运行它而不对源文件进行任何更改,它会验证两端的文件是否相同,并且不复制任何内容:



如果我更改了文件或其权限,DataSync 会传输更改以确保源和目标匹配。传输始终是呈增量式的,这使得 DataSync 非常适合我之前描述的迁移和灾难恢复用例。


注意事项


以下是您需要了解的有关 AWS DataSync 的一些事项:


源/目标 – 您可以从本地服务器传输到 AWS,反之亦然。


性能 – 整体数据传输速度与整体网络条件相关;单个代理可以使 10Gbps 网络链接饱和。


定价 – 您只需按 GB 支付较低的数据传输费用;服务本身是免费的。


现已推出


AWS DataSync 现已在以下区域推出,您可以立即开始使用:美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(俄勒冈)、美国西部(加利福尼亚北部)、欧洲(爱尔兰)、欧洲(法兰克福)、亚太地区(首尔)、亚太地区(新加坡)、亚太地区(悉尼)以及亚太地区(东京)。


– Jeff;


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/new-aws-datasync-automated-and-accelerated-data-transfer/


2019 年 10 月 15 日 15:12524
用户头像

发布了 1299 篇内容, 共 41.7 次阅读, 收获喜欢 43 次。

关注

欲了解 AWS 的更多信息,请访问【AWS 技术专区】

评论

发布
暂无评论
发现更多内容

Hadoop生态系统Hive:SQL执行(一)

正向成长

hadoop hive

熬夜28天肝完这25W字的九大Java核心专题,连续拿下多个大厂offer

Java~~~

Java 架构 面试 JVM 架构师

用区块链技术实现电力供给“三流合一”

CECBC区块链专委会

2021年最佳VUE3 UI框架推荐

devpoint

Vue3 antd vue vue2 8月日更

【设计模式】责任链模式

Andy阿辉

C# 后端 设计模式 8月日更

写作 7 堂课——【7. 复盘式写作】

LeifChen

复盘 写作技巧 8月日更

先到先得!Alibaba最新出版的JDK源码剖析手册(究极奥义版)开源

Java 编程 jdk 面试 程序人生

交易所行业迎来变局?AAX宣布币币交易手续费全免

股市老人币圈新

架构实战营毕业总结

thewangzl

Nginx原理解析

开源君

nginx 8月日更

什么是分布式超媒体信息获取系统?

escray

学习 极客时间 如何落地业务建模 8月日更

趁着课余时间学点Python(十一)面向对象的理解(高潮)

ベ布小禅

8月日更

我看 JAVA 之 并发编程【四】线程安全与JMM

awen

Java JMM 线程安全

清华大牛带领20位大厂专家耗时三年整理出这份2000页Java进阶指南

Java~~~

Java MySQL 架构 面试 微服务

MySQL专栏(三)-->事务控制那些事

卢卡多多

MySQL 8月日更

Java变量使用小技巧~

Bob

Java 变量 8月日更

MinIO Client 使用(二)

耳东@Erdong

Minio client 8月日更 minio client

求阿里大神整理的分布式核心笔记出炉了,GitHub刚发布就标星85k

Java~~~

Java 架构 面试 微服务 JVM

猎杀时刻!疯狂狩猎大厂offer,阿里高工总结698页Spring学习笔记

Java 编程 架构 面试 架构师

【前端 · 面试 】JavaScript 之你不一定会的基础题(一)

编程三昧

JavaScript html5 前端 8月日更 事件冒泡

毕业总结

方堃

滴滴最看重的SpringCloud手册曾被疯狂转载,现在学还有用吗?

Java~~~

Java 架构 面试 微服务 Spring Cloud

2021年7月券商App行情刷新及交易体验评测报告

博睿数据

让GitHub低头!这份阿里内部的10W字Java面试手册到底有多强?

Java~~~

Java spring 面试 微服务 JVM

未来25年看隐私计算与区块链

CECBC区块链专委会

前端之算法(二)选择和插入排序

Augus

8月日更

运营宠物类自媒体:明确受众和自己的定位

石头IT视角

聊聊我在腾讯和字节工作感受

程序员鱼皮

Java 互联网 求职 IT 实习

网络攻防学习笔记 Day103

穿过生命散发芬芳

态势感知 网络攻防 8月日更

交易所市值管理机器人搭建,项目方市值管理软件源码

13823153121

秀到起飞!LeetCode官方推出算法面试指导手册(代码版)限时开源

Java~~~

Java 架构 面试 算法 架构师

开源中间件技术学习路线

开源中间件技术学习路线

AWS DataSync , 数据传输自动化和加速-InfoQ