写点什么

公有云还能信任吗?Azure 遭雷击中断超过一天

2018 年 9 月 17 日

9 月 4 日,微软在美国中南部地区的圣安东尼奥数据中心由于雷电天气影响导致电压激增,数据中心的冷却系统发生故障。为保证数据和硬件完整性,数据中心的自动化措施强制关闭了系统电源以防止机器因过热造成损坏。这一事故引发了 Azure 中断,Office 365 以及 Azure Active Directory 服务都受到影响,并且恢复相关存储服务经历了很长时间。

故障从 9 月 4 日上午 9 点(北京时间 9 月 4 日 17:00)左右开始出现问题,到 9 月 5 日下午 13 点左右(北京时间 9 月 5 日 21:00 左右),微软大多数受影响服务的存储可用性已经恢复,整个故障中断时间超过 24 小时。

跟踪服务中断的 DownDetector.com 网站显示 Azure 服务中断主要位于德克萨斯州:

Azure 官方推特 Azure Support 让用户查看 Azure 状态页面,但是 Azure 服务中断甚至影响到该页面也一度无法访问。Azure Support 将事故称为“网络问题”,并表示中断只会影响美国中南部的客户,但是很多用户表示中断已经影响了包括西欧、亚洲在内的其他地区。

Azure Support 在对用户的回复中澄清了为什么其他地区会受到影响:“在某种程度上,我们所有的数据中心都是相互联系的。因此,如果一个数据中心出现故障,它将转移到其他数据中心。此外,在欧洲的客户可能会在受影响的数据中心托管一些资源。“

包括 Office 365 和 VSTS (Visual Studio Team Services)在内的近 40 个 Azure 服务受到影响。根据 Office 365 的公告,Office 365 用户遇到的问题类型如下:

  • Exchange - 某些用户可能无法访问网页上的 Outlook。 通过其他协议进行的电子邮件访问则有可能不受影响。

  • Power BI - 用户可能收到“服务器不可用”错误或可能无法登录。

  • SharePoint - 大多数影响已得到缓解,但一部分用户可能无法进行更改或更改无法保存。

  • Microsoft Teams - 用户可能无法访问 Teams 的 Office 文档。

  • Intune - 受影响的用户可能无法访问 Intune 门户或其他功能。

根据 VSTS 的公告,这次中断影响了使用微软 Visual Studio Team Services 的开发人员,导致他们无法访问帐户,报告仪表板也无法加载。

根据 Microsoft Dynamics 公告,这次中断还影响了 Azure Active Directory,Microsoft Dynamics Finance 以及 Operations 和 Lifecycle Services 的用户。

9 月 5 日,Azure 状态更新中表示,工程师正在优先恢复存储资源,以便恢复依赖于这些受影响资源的所有服务,但是恢复过程需要一段时间。到北京时间 9 月 5 日晚 9 点左右,大多数受影响的服务已经恢复。

到底应该怎么上云?

此次 Azure 服务中断时间长,影响较大,又引发了大家对上云风险的讨论。

VSTS 一整天都用不了,这是个很严重的问题。有用户说:

我无法相信 Azure 仍在瘫痪。昨天整天我都无法访问美国中南部地区的资源。整个区域的服务中断可能会持续 24 小时的事实将使我的团队认真考虑转向 AWS。如果我们的服务中断 5 分钟,我们的客户会很生气。我甚至不想去想如果因为一些完全不受我们控制的事情而宕机一整天会发生什么。

讨论中也有这样的疑惑:

区域性中断应该不会拖垮那么多服务,地理冗余在哪里?

虽然很多细节都围绕在具体是哪里的冷却系统发生了故障,Azure 这次的服务中断可以让大家认识到可用区(AZ,availability zones) 的重要性。AZ 能让使用云服务的用户在给定云计算区域内的几个独立建筑周围分散工作量,以期避免单个数据中心会带来的问题。

AZ 的设置直到去年才成为微软基础设施战略的一部分,并且目前微软只向全球 54 个区域中的三个地区推出了 AZ(美国东部 2 区和东南亚地区可作为预览)。

上云本来是要防止这些基础设施问题的,但是不要忘了,即使 99%的 SLA 也意味着一年 365 天大约可以有 4 天不在线。所以很多公司会提到 99.9% 和 99.99%,当以年为单位来看,小数点后面的位数也不可小觑。公有云提供的高度冗余意味着公司需要在全国各地拥有为站点提供服务并充当备份的私有数据中心。很多公司连建立这么多数据中心的预算足都不足,更不用说额外的维护成本了。

Mimecast 的网络弹性专家 Pete Banham 说:“今天在 Azure 发生的事件再次提醒企业需要建立自己的冗余,而不是依靠单一的供应商。所有公司(包括 Microsoft)都需要考虑由于技术故障或人为错误而导致关键服务故障可能产生的下游影响。服务总是会有失败的时候,IT 领导者们需要确保自己没有将责任外包给单一的云服务。”

参考链接:

https://redmondmag.com/articles/2018/09/04/azure-office-365-down-in-texas.aspx

https://www.cbronline.com/news/azure-outage-microsoft

https://www.zdnet.com/article/microsoft-south-central-u-s-datacenter-outage-takes-down-a-number-of-cloud-services/

2018 年 9 月 17 日 19:001166
用户头像
张婵 InfoQ 技术编辑

发布了 87 篇内容, 共 45.4 次阅读, 收获喜欢 214 次。

关注

评论

发布
暂无评论
发现更多内容

程序员的真实故事

Learun

敏捷开发

云图说|AI开发难!难!难!端云协同多模态AI开发套件你需要了解一下

华为云开发者社区

AI 分布式协同 开发

解析—MyBatis在SpringBoot中动态多数据源配置

比伯

Java 编程 程序员 架构 计算机

详解TCP IP网络协议栈底层原理到徒手实现

赖猫

c++ Linux 编程 程序 网络协议栈

如何在高速发展中等一等老人 银行数字化服务显温度

CECBC区块链专委会

银行 养老服务

每周学点 TARS——服务鉴权功能

TARS基金会

DevOps 后端 鉴权 TARS

架構師訓練營第 1 期 - 第 11 周作業

Panda

架構師訓練營第 1 期

Reactor线程模型浅析

赖猫

c++ Linux 编程 reactor 编程语言

架构师训练营第 1 期 - 第十一周作业

Todd-Lee

极客大学架构师训练营

第十一周课后练习

饭桶

Meet new Sentinel Go committers!

阿里巴巴云原生

开源 开发者 云原生 sentinel 中间件

第11周学习总结

饭桶

Gemini双子新约软件系统开发|Gemini双子新约APP开发

开發I852946OIIO

系统开发

话题讨论 |程序员35岁被裁,是真的吗?你离35岁还有几年?

Java_若依框架教程

话题讨论

人工智能应用实操:手把手教你用Python控制IoT智能硬件

智能物联实验室

物联网 IoT

架構師訓練營第 1 期 - 第 11 周總結

Panda

架構師訓練營第 1 期

架构师训练营第 1 期 - 第十一周总结

Todd-Lee

极客大学架构师训练营

开源软件联盟PostgreSQL分会投稿指南

PostgreSQLChina

数据库 postgresql 软件 投稿

腾讯云区块链总经理李力:产业区块链的四大发展趋势

CECBC区块链专委会

区块链 大数据

CloudIDE插件在手,按时下班不愁

华为云开发者社区

ide Cloud CloudIDE

通用软件快速开发平台对企业信息化的影响

雯雯写代码

软件 快速开发 企业信息化

Linux中父进程为何要苦苦地知道子进程的死亡原因?

linux大本营

c++ Linux 后台开发 进程

如何利用小熊派获取MPU6050六轴原始数据

华为云开发者社区

物联网 IoT 小熊派

一不小心,就入选Gartner魔力象限了

数据君

数据库

今天,我们和人民大学一起干了件大事!

数据君

数据库

量化交易系统APP软件开发(现成)

开發I852946OIIO

系统开发

大企软件系统问题多?归乡名企工程师:解决很简单,分分钟做个新系统

Philips

敏捷开发

【硬件篇之电源纹波噪声测试】

良知犹存

硬件

架构师训练营第 1 期 -week12

习习

追忆

刘旭东

回忆 情绪

阿里 双11 同款流控降级组件 Sentinel Go 正式 GA,助力云原生服务稳稳稳

阿里巴巴云原生

开发者 云原生 中间件 开源项目 双十一

公有云还能信任吗?Azure遭雷击中断超过一天-InfoQ