写点什么

AWS DataSync , 数据传输自动化和加速

  • 2019-10-15
  • 本文字数:1602 字

    阅读完需:约 5 分钟

AWS DataSync , 数据传输自动化和加速

很多 AWS 客户告诉我们,他们需要将大量数据移入和移出 AWS 云。他们的用例包括:


迁移 – 一些客户拥有大量数据集,而且这些数据集处于不断变化的状态。他们没有可以使用的自然中断或停止点来实现一次性传输。


上传和处理 – 其他客户定期在本地生成大量数据集,以便在云中进行处理。这包括我们在媒体和娱乐、石油和天然气以及生命科学行业的客户。


备份/DR – 最后,其他客户将其宝贵的本地数据复制到云中以便妥善保管并确保业务连续性。


这些客户都需要规模化工作! 数十或数百 TB 数据的一次性或定期传输是非常常见的。在这种规模下,有效利用网络带宽和实现高吞吐量是必不可少的,可靠性、安全性和易用性同样重要。


隆重推出 AWS DataSync


今天,我们的数据传输服务组合喜添新成员 AWS DataSync。AWS DataSync 与 AWS Snowball、AWS Snowmobile、Kinesis Data Firehose、S3 Transfer Acceleration 和 AWS Storage Gateway 相结合,围绕超高效、专用数据传输协议构建,其运行速度是开源数据传输速度的 10 倍。它易于设置和使用(可以使用控制台和 CLI 访问),并可以无限扩展!


AWS DataSync 是托管服务,您只需为您传输的数据付费。它可以通过 Internet 或 AWS Direct Connect 将本地数据同步到 Amazon Simple Storage Service (S3) 存储桶或 Amazon Elastic File System,还可以从 AWS 同步到本地存储的数据。


AWS DataSync 代理是该服务的重要组成部分。您可以在本地数据中心部署 VM,它将充当 NFS 存储的客户端并加速数据传输。


AWS DataSync 实际操作


我们来体验一下 AWS DataSync! AWS DataSync 团队为我设置了包含代理和 NFS 服务器的测试环境。


通过使用代理的公共 IP 地址,我打开 AWS DataSync 控制台并单击开始使用:



我的用例是本地到 AWS。我选择该选项,然后单击 Create agent(创建代理),连接到我的本地代理:



我下载并运行 VM 映像(这里已经为我准备好了),输入代理的公共 IP 地址,然后单击 Get key(获取密钥)。然后为我的代理命名并添加标记,接着单击 Create agent(创建代理):



我的代理已经准备就绪,我已准备好创建一个 DataSync 任务来指示我想要同步的内容和同步时间! 我单击 Create task(创建任务)来执行此操作:



再次选择我的用例,然后单击下一步以继续:



我创建一个源位置并将其指向我的 NFS 服务器,然后单击下一步(我可以配置和使用多个代理以提高总体吞吐量):



现在我创建一个目标位置,在 EFS 文件系统和 S3 存储桶之间进行选择:



接下来,创建我的任务。我为其命名并接受所有默认值,并在下一页上查看它(未显示)。如您所见,我可以选择控制复制、文件管理和带宽使用等选项:



我的任务已准备就绪:



我选择按原样运行,或覆盖我的设置:



传输立即开始,我可以看到它的进展情况:



传输通过 SSL 连接进行;我的存储桶快速被文件填满:



我可以看到最终状态:



如果我再次运行它而不对源文件进行任何更改,它会验证两端的文件是否相同,并且不复制任何内容:



如果我更改了文件或其权限,DataSync 会传输更改以确保源和目标匹配。传输始终是呈增量式的,这使得 DataSync 非常适合我之前描述的迁移和灾难恢复用例。


注意事项


以下是您需要了解的有关 AWS DataSync 的一些事项:


源/目标 – 您可以从本地服务器传输到 AWS,反之亦然。


性能 – 整体数据传输速度与整体网络条件相关;单个代理可以使 10Gbps 网络链接饱和。


定价 – 您只需按 GB 支付较低的数据传输费用;服务本身是免费的。


现已推出


AWS DataSync 现已在以下区域推出,您可以立即开始使用:美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(俄勒冈)、美国西部(加利福尼亚北部)、欧洲(爱尔兰)、欧洲(法兰克福)、亚太地区(首尔)、亚太地区(新加坡)、亚太地区(悉尼)以及亚太地区(东京)。


– Jeff;


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/new-aws-datasync-automated-and-accelerated-data-transfer/


2019-10-15 15:121245
用户头像

发布了 1908 篇内容, 共 147.3 次阅读, 收获喜欢 81 次。

关注

评论

发布
暂无评论
发现更多内容

5分钟手把手教你开发一个MCP服务

巫山老妖

MCP协议

微店API系列:商品详情接口接入与应用

tbapi

微店商品详情接口 微店API 微店商品采集

Maven实战

Java随想录

Java maven

《Operating System Concepts》阅读笔记:p584-p585

codists

操作系统

为什么去中心化云算力平台需要原生数字资产(Token)?

PowerVerse

去中心化 Token 算力

Rust 如何轻松实现 RTMP 流媒体推送?深入解析直播推流场景与解决方案

Yeauty

rust ffmpeg Video RTMP media

《Operating System Concepts》阅读笔记:p552-p579

codists

操作系统

大模型 MCP:开启 AI 与现实世界的无缝交互革命

巫山老妖

MCP协议

如何使用 Nginx 代理 Easysearch 服务

极限实验室

nginx easysearch

Shotcut 25.03 (Linux, macOS, Windows) - 免费开源视频编辑器

sysin

等保测评整改

黑龙江陆陆信息测评部

南京大学与阿里云联合启动人工智能人才培养合作计划,已将通义灵码引入软件学院课程体系

阿里巴巴云原生

阿里云 云原生 通义灵码

CAD怎么创建块遮挡效果

极客天地

UCAM:AI产品经理的技术课程学些啥?

科技热闻

使用kvmtool运行和调试Linux内核

Linux内核拾遗

虚拟化 Linux内核 kvm kvmtool

大模型是否有必要本地化部署?

程序员架构进阶

#架构 4月月更 #大模型 DeepSeek

微店商品列表API接口(Micro.item_search)

tbapi

微店API 微店商品列表接口 微店商品列表数据采集

征程 6|工具链 VP 示例中日志打印解读

地平线开发者

自动驾驶 算法工具链 地平线征程6

代理 Elasticsearch 服务:INFINI Gateway VS Nginx

极限实验室

nginx elasticsearch Gateway

PDF 转图片,一行代码搞定!批量支持已上线!

程序员晚枫

开源 PDF

转型AI:Qgenius(全才)AI产品经理培训课程

科技热闻

【超详细】Mac读取移动硬盘速度很慢的原因及解决方法

阿拉灯神丁

文件存储 磁盘管理 Mac软件 苹果电脑 Tuxera NTFS2024

LLM 不断提升智能下限,MCP 不断提升创意上限

阿里巴巴云原生

阿里云 微服务 云原生 LLM

高可靠架构+智能运维,华为云会议“始终在线”!

平平无奇爱好科技

硬盘格式化NTFS好还是exFAT好?ntfs和exfat有什么区别 Mac电脑读取不了移动硬盘怎么办

阿拉灯神丁

文件系统 硬盘 Mac软件 NTFS 磁盘管理器 Tuxera NTFS2024

AI 浪潮下企业身份管理:特点凸显,安全挑战升级

TechLead Studio

AI 企业身份安全

开源项目:一行代码,批量 PDF 转 Word 轻松搞定!

程序员晚枫

PDF word 自动化办公

智能驾驶中预测模块简介

地平线开发者

自动驾驶 算法工具链 地平线征程6

阿里云可观测 2025 年 3 月产品动态

阿里巴巴云原生

阿里云 云原生 可观测

南京大学与阿里云联合启动人工智能人才培养合作计划,已将通义灵码引入软件学院课程体系

阿里云云效

阿里云 云原生 通义灵码

《Operating System Concepts》阅读笔记:p580-p583

codists

操作系统

AWS DataSync , 数据传输自动化和加速_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章