AWS DataSync ， 数据传输自动化和加速

很多 AWS 客户告诉我们，他们需要将大量数据移入和移出 AWS 云。他们的用例包括：

迁移 – 一些客户拥有大量数据集，而且这些数据集处于不断变化的状态。他们没有可以使用的自然中断或停止点来实现一次性传输。

上传和处理 – 其他客户定期在本地生成大量数据集，以便在云中进行处理。这包括我们在媒体和娱乐、石油和天然气以及生命科学行业的客户。

备份/DR – 最后，其他客户将其宝贵的本地数据复制到云中以便妥善保管并确保业务连续性。

这些客户都需要规模化工作！ 数十或数百 TB 数据的一次性或定期传输是非常常见的。在这种规模下，有效利用网络带宽和实现高吞吐量是必不可少的，可靠性、安全性和易用性同样重要。

隆重推出 AWS DataSync

今天，我们的数据传输服务组合喜添新成员 AWS DataSync。AWS DataSync 与 AWS Snowball、AWS Snowmobile、Kinesis Data Firehose、S3 Transfer Acceleration 和 AWS Storage Gateway 相结合，围绕超高效、专用数据传输协议构建，其运行速度是开源数据传输速度的 10 倍。它易于设置和使用（可以使用控制台和 CLI 访问），并可以无限扩展！

AWS DataSync 是托管服务，您只需为您传输的数据付费。它可以通过 Internet 或 AWS Direct Connect 将本地数据同步到 Amazon Simple Storage Service (S3) 存储桶或 Amazon Elastic File System，还可以从 AWS 同步到本地存储的数据。

AWS DataSync 代理是该服务的重要组成部分。您可以在本地数据中心部署 VM，它将充当 NFS 存储的客户端并加速数据传输。

AWS DataSync 实际操作

我们来体验一下 AWS DataSync！ AWS DataSync 团队为我设置了包含代理和 NFS 服务器的测试环境。

通过使用代理的公共 IP 地址，我打开 AWS DataSync 控制台并单击开始使用：

我的用例是本地到 AWS。我选择该选项，然后单击 Create agent（创建代理），连接到我的本地代理：

我下载并运行 VM 映像（这里已经为我准备好了），输入代理的公共 IP 地址，然后单击 Get key（获取密钥）。然后为我的代理命名并添加标记，接着单击 Create agent（创建代理）：

我的代理已经准备就绪，我已准备好创建一个 DataSync 任务来指示我想要同步的内容和同步时间！ 我单击 Create task（创建任务）来执行此操作：

再次选择我的用例，然后单击下一步以继续：

我创建一个源位置并将其指向我的 NFS 服务器，然后单击下一步（我可以配置和使用多个代理以提高总体吞吐量）：

现在我创建一个目标位置，在 EFS 文件系统和 S3 存储桶之间进行选择：

接下来，创建我的任务。我为其命名并接受所有默认值，并在下一页上查看它（未显示）。如您所见，我可以选择控制复制、文件管理和带宽使用等选项：

我的任务已准备就绪：

我选择按原样运行，或覆盖我的设置：

传输立即开始，我可以看到它的进展情况：

传输通过 SSL 连接进行；我的存储桶快速被文件填满：

我可以看到最终状态：

如果我再次运行它而不对源文件进行任何更改，它会验证两端的文件是否相同，并且不复制任何内容：

如果我更改了文件或其权限，DataSync 会传输更改以确保源和目标匹配。传输始终是呈增量式的，这使得 DataSync 非常适合我之前描述的迁移和灾难恢复用例。

注意事项

以下是您需要了解的有关 AWS DataSync 的一些事项：

源/目标 – 您可以从本地服务器传输到 AWS，反之亦然。

性能 – 整体数据传输速度与整体网络条件相关；单个代理可以使 10Gbps 网络链接饱和。

定价 – 您只需按 GB 支付较低的数据传输费用；服务本身是免费的。

现已推出

AWS DataSync 现已在以下区域推出，您可以立即开始使用：美国东部（弗吉尼亚北部）、美国东部（俄亥俄）、美国西部（俄勒冈）、美国西部（加利福尼亚北部）、欧洲（爱尔兰）、欧洲（法兰克福）、亚太地区（首尔）、亚太地区（新加坡）、亚太地区（悉尼）以及亚太地区（东京）。

– Jeff；

本文转载自 AWS 技术博客。

原文链接：

https://amazonaws-china.com/cn/blogs/china/new-aws-datasync-automated-and-accelerated-data-transfer/