2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

如何使用 AZCOPY 同步 Azure Blob 存储

  • 2020-01-25
  • 本文字数:1552 字

    阅读完需:约 5 分钟

如何使用 AZCOPY 同步 Azure Blob 存储

几个月前,我写了一篇关于 如何使用 AzCopy 同步文件到 Azure Blob 存储 的博客。今天针对我在 GitHub 上使用 AzCopy 的一个问题,有了一个激动人心的更新。这意味着您现在可以使用 AzCopy 从 Azure Blob 到 Azure Blob。

Azure Blob <-> Azure Blob (源必须包括共享访问令牌 SAS 或者可公共访问,对于目标可以支持共享访问令牌 SAS 或者 OAuth 认证)

如何在 Azure Blob 存储之间同步

作为准备工作,您将需要 安装并设置 AzCopy ,或者在 Azure Cloud Shell 中使用 AzCopy.


您可以使用下述命令将 Azure blob 存储同步到另外一个 Azure Blob 中。该命令将仅仅同步发生变化和新建的文件。其比较文件的名称和最后修改时间戳。


azcopy sync "https://[account].blob.core.windows.net/[container]/[path/to/blob]?[SAS]" "https://[account].blob.core.windows.net/[container]/[path/to/blob]?[SAS]"
复制代码


对于目标,你既可以使用 SAS 或者 OAuth。为了同步一个存储账号中的整个容器或者文件夹到另外一个账号,你可以使用下述命令:


azcopy sync "https://[account].blob.core.windows.net/[container]?[SAS]" "https://[account].blob.core.windows.net/[container]"
复制代码


作为示例,这里我将从在北欧区的 Azure 存储账号的一个容器中的文件,复制到西欧区的另一个存储账号中。



我使用如下命令来实现:


azcopy sync "https://tomnortheurope.blob.core.windows.net/myfiles?[SAS]" "https://tomwesteurope.blob.core.windows.net/destinationfiles?[SAS]" --recursive=true
复制代码



您可以看到,在第一次运行时,它确实将所有文件从源存储帐户复制到了目标位置。 在第二次运行中,它没有复制任何文件,因为文件已经存在了。



下面是一系列可以使用的参数。您可以在微软 Docs上发现更多的关于 AzCopy sync 的命令。


–block-size-mb 在上传到 Azure 存储或者从 Azure 存储下载时,使用的块尺寸 (以 MiB 为单位) 。默认基于文件尺寸自动计算。支持使用十进制小数(例如:0.25)。


–check-md5 字符串,指定在下载时,如何强制 MD5 散列值用于验证。该选项仅在下载时可用。可用值包括:NoCheck, LogOnly, FailIfDifferent, FailIfDifferentOrMissing. (默认值:‘FailIfDifferent’)。


–delete-destination 字符串。定义是否删除源中没有提供的目标中的其它文件。可以设置为: true, false, 或者 prompt。如果设置为 prompt,在删除文件或者 blob 之前,用户将被要求确认 (默认 false)。


–exclude-attributes 字符串(仅 Windows),排除匹配文件属性的文件。例如:A;S;R


–exclude-pattern 字符串,排除匹配模板列表的文件,例如:.jpg;*.pdf;exactName


-h, –help 使用帮助


–include-attributes 字符串 (仅 Windows),仅包含匹配文件属性列表的文件。例如: A;S;R


–include-pattern 字符串,仅包含匹配模板列表的文件。例如: .jpg;.pdf;exactName


–log-level 字符串, 定义日志文件的日志级别。可用的级别:INFO(所有的请求和响应), WARNING(慢速响应), ERROR(仅仅失败的请求), 以及 NONE(没有输出日志). (默认 INFO). (default “INFO”)


–put-md5 对每个文件创建 MD5 散列,并保存将散列值作为目标 blob 或文件的 Content-MD5 属性。 (默认情况下,创建散列)。仅在上传时可用。


–recursive 默认为 True,当在目录之间同步的时候,递归进入子目录 (默认为 true)。


如果您希望了解更多关于同步本地文件到 Azure blob 存储的内容,请查看我的博客。我希望这可以帮助您快速查看如何使用 AzCopy 同步 Azure blob 存储。如果您希望学习更多内容,请查看微软 Docs 中关于如何 使用 AzCopy 传输数据。如果有任何问题,请留言。


原文链接


https://github.com/azureselected/azureselected/blob/master/content/cloud-advocate/2019-12/how-to-sync-azure-blob-storage-with-azcopy.md


2020-01-25 11:303867

评论

发布
暂无评论
发现更多内容

web前端培训javaScript的内存管理机制分享

@零度

JavaScript 前端开发

大数据培训Hive面试核心知识点分享

@零度

大数据 hive

Java Shutdown Hook 场景使用和源码分析

爱好编程进阶

Java 面试 后端开发

打破虚拟边界的视频交互新方式,AR隔空书写的应用理念和探索实践

阿里云CloudImagine

音视频 AR 直播 视频云

Spring入门基础

乌龟哥哥

4月月更

蓝翔:百度开源深度学习平台飞桨的核心技术及应用

百度开发者中心

一文读懂在OpenHarmony轻量设备开发应用

OpenHarmony开发者

OpenHarmony OpenHarmony应用开发 轻量设备

预售2小时,破10000册!顶级投资人的投资策略首度全面公开

博文视点Broadview

不同阶段的人,如何学习Rust?加入非凸,一起学习!

非凸科技

rust 招聘 编程语言‘

69-个经典-Spring-面试题和答案详解(下)

爱好编程进阶

Java 面试 后端开发

BS-GX-018 基于SSM实现在校学生考试系统

爱好编程进阶

Java 面试 后端开发

GX Works2、MX OPC 6

爱好编程进阶

Java 面试 后端开发

IDEA的Docker插件实战(Docker-compose篇)

爱好编程进阶

Java 面试 后端开发

建木持续集成平台v2.3.0发布

Jianmu

持续集成 工作流 gitops pipeline 建木CI

2021最新Spring Boot 面试题

爱好编程进阶

Java 面试 后端开发

elasticsearch实战三部曲之三:搜索操作

爱好编程进阶

Java 面试 后端开发

GitHub榜首的阿里“绝巅版”工程师面试手册

爱好编程进阶

Java 面试 后端开发

TASKCTL 作业异常报错如何发送短信和邮件

敏捷调度TASKCTL

开源 DevOps 分布式 方法论 敏捷开发

30 网站架构师职场攻略

爱好编程进阶

Java 面试 后端开发

GitHub 自动合并 pr 的机器人——auto-merge-bot

NebulaGraph

图数据库 知识图谱

dubbo实战之三:使用Zookeeper注册中心

爱好编程进阶

Java 面试 后端开发

Meetup回顾|星策社区FeatureStore Meetup V2

星策开源社区

机器学习 Meetup Feature Store 特征平台 MLOps

MySQL 无法满足查询性能?北明天时选择 TDengine 实现热网监控和能源分析

TDengine

数据库 tdengine 开源 时序数据库

技术文档|基于双目感知的封闭园区自动驾驶搭建--感知适配

百度开发者中心

@Configuration注解 -【Spring底层原理

爱好编程进阶

Java 面试 后端开发

Linux下玩转nginx系列(四)---nginx做Web服务器

anyRTC开发者

nginx Linux Web 音视频 服务器

Binder源码阅读指南之java层

爱好编程进阶

Java 面试 后端开发

GitHub上最火的SpringCloud微服务商城系统项目,附全套教程

爱好编程进阶

Java 面试 后端开发

2021最新最全Java基础高频面试题汇总(1W字详细解析)

爱好编程进阶

Java 面试 后端开发

45天拿下美团Offer,狂抬阿里这本Java性能调优手册,不愧是No

爱好编程进阶

Java 面试 后端开发

BAT大厂大佬教你:Docker部署Prometheus+Grafana监控系统

爱好编程进阶

Java 面试 后端开发

如何使用 AZCOPY 同步 Azure Blob 存储_容器_Thomas Maurer_InfoQ精选文章