业务云原生架构、推荐系统以及线上生活等热点方向的高可用高性能业务架构有哪些?点击了解 了解详情
写点什么

公有云还能信任吗?Azure 遭雷击中断超过一天

2018 年 9 月 17 日

9 月 4 日,微软在美国中南部地区的圣安东尼奥数据中心由于雷电天气影响导致电压激增,数据中心的冷却系统发生故障。为保证数据和硬件完整性,数据中心的自动化措施强制关闭了系统电源以防止机器因过热造成损坏。这一事故引发了 Azure 中断,Office 365 以及 Azure Active Directory 服务都受到影响,并且恢复相关存储服务经历了很长时间。

故障从 9 月 4 日上午 9 点(北京时间 9 月 4 日 17:00)左右开始出现问题,到 9 月 5 日下午 13 点左右(北京时间 9 月 5 日 21:00 左右),微软大多数受影响服务的存储可用性已经恢复,整个故障中断时间超过 24 小时。

跟踪服务中断的 DownDetector.com 网站显示 Azure 服务中断主要位于德克萨斯州:

Azure 官方推特 Azure Support 让用户查看 Azure 状态页面,但是 Azure 服务中断甚至影响到该页面也一度无法访问。Azure Support 将事故称为“网络问题”,并表示中断只会影响美国中南部的客户,但是很多用户表示中断已经影响了包括西欧、亚洲在内的其他地区。

Azure Support 在对用户的回复中澄清了为什么其他地区会受到影响:“在某种程度上,我们所有的数据中心都是相互联系的。因此,如果一个数据中心出现故障,它将转移到其他数据中心。此外,在欧洲的客户可能会在受影响的数据中心托管一些资源。“

包括 Office 365 和 VSTS (Visual Studio Team Services)在内的近 40 个 Azure 服务受到影响。根据 Office 365 的公告,Office 365 用户遇到的问题类型如下:

  • Exchange - 某些用户可能无法访问网页上的 Outlook。 通过其他协议进行的电子邮件访问则有可能不受影响。

  • Power BI - 用户可能收到“服务器不可用”错误或可能无法登录。

  • SharePoint - 大多数影响已得到缓解,但一部分用户可能无法进行更改或更改无法保存。

  • Microsoft Teams - 用户可能无法访问 Teams 的 Office 文档。

  • Intune - 受影响的用户可能无法访问 Intune 门户或其他功能。

根据 VSTS 的公告,这次中断影响了使用微软 Visual Studio Team Services 的开发人员,导致他们无法访问帐户,报告仪表板也无法加载。

根据 Microsoft Dynamics 公告,这次中断还影响了 Azure Active Directory,Microsoft Dynamics Finance 以及 Operations 和 Lifecycle Services 的用户。

9 月 5 日,Azure 状态更新中表示,工程师正在优先恢复存储资源,以便恢复依赖于这些受影响资源的所有服务,但是恢复过程需要一段时间。到北京时间 9 月 5 日晚 9 点左右,大多数受影响的服务已经恢复。

到底应该怎么上云?

此次 Azure 服务中断时间长,影响较大,又引发了大家对上云风险的讨论。

VSTS 一整天都用不了,这是个很严重的问题。有用户说:

我无法相信 Azure 仍在瘫痪。昨天整天我都无法访问美国中南部地区的资源。整个区域的服务中断可能会持续 24 小时的事实将使我的团队认真考虑转向 AWS。如果我们的服务中断 5 分钟,我们的客户会很生气。我甚至不想去想如果因为一些完全不受我们控制的事情而宕机一整天会发生什么。

讨论中也有这样的疑惑:

区域性中断应该不会拖垮那么多服务,地理冗余在哪里?

虽然很多细节都围绕在具体是哪里的冷却系统发生了故障,Azure 这次的服务中断可以让大家认识到可用区(AZ,availability zones) 的重要性。AZ 能让使用云服务的用户在给定云计算区域内的几个独立建筑周围分散工作量,以期避免单个数据中心会带来的问题。

AZ 的设置直到去年才成为微软基础设施战略的一部分,并且目前微软只向全球 54 个区域中的三个地区推出了 AZ(美国东部 2 区和东南亚地区可作为预览)。

上云本来是要防止这些基础设施问题的,但是不要忘了,即使 99%的 SLA 也意味着一年 365 天大约可以有 4 天不在线。所以很多公司会提到 99.9% 和 99.99%,当以年为单位来看,小数点后面的位数也不可小觑。公有云提供的高度冗余意味着公司需要在全国各地拥有为站点提供服务并充当备份的私有数据中心。很多公司连建立这么多数据中心的预算足都不足,更不用说额外的维护成本了。

Mimecast 的网络弹性专家 Pete Banham 说:“今天在 Azure 发生的事件再次提醒企业需要建立自己的冗余,而不是依靠单一的供应商。所有公司(包括 Microsoft)都需要考虑由于技术故障或人为错误而导致关键服务故障可能产生的下游影响。服务总是会有失败的时候,IT 领导者们需要确保自己没有将责任外包给单一的云服务。”

参考链接:

https://redmondmag.com/articles/2018/09/04/azure-office-365-down-in-texas.aspx

https://www.cbronline.com/news/azure-outage-microsoft

https://www.zdnet.com/article/microsoft-south-central-u-s-datacenter-outage-takes-down-a-number-of-cloud-services/

2018 年 9 月 17 日 19:001182
用户头像
张婵 InfoQ 技术编辑

发布了 87 篇内容, 共 45.7 次阅读, 收获喜欢 215 次。

关注

评论

发布
暂无评论
发现更多内容

架构师训练营第 8 周作业

netspecial

极客大学架构师训练营

架构师训练营第 8 周学习总结

netspecial

极客大学架构师训练营

JVM真香系列:图解垃圾回收器

田维常

JVM 垃圾回收

“区块链+营销”:科技力量助力行业前行

CECBC区块链专委会

市场营销

架构师训练营第 1 期 - 第八周总结

Todd-Lee

极客大学架构师训练营

《身边的金钱心理学》

石云升

网络时间协议介绍以及服务器同步网络时间

MySQL从删库到跑路

ntp 时间同步

python+requests进行get、post方法接口测试

测试人生路

Python 接口测试

【JAVA】TreeSet, LinkedHashSet和HashSet差异对比

莫问

家谱链亮相高交会,点亮“区块链+文化”融合发展之路

13530558032

高交会:高新企业源中瑞在此出展区块链BAAS技术

WX13823153201

高交会:高新企业源中瑞在此出展区块链BAAS技术

13530558032

分分钟玩转SpringBoot自定义注解

比伯

Java 大数据 编程 架构 编程语言

作业-第4周总结

arcyao

腾讯强推Redis成长手册!原理+应用+集群+拓展+源码五飞

小Q

Java redis 学习 架构 面试

第四周作业

Jack

第八周课后练习

knight

架构师训练营 第四周作业

文江

第八章作业

alpha

极客大学架构师训练营

第八周总结

alpha

极客大学架构师训练营

极客大学架构师训练营第一期第八周总结

睡不着摇一摇

架构师一期

【可下载】2020年底收官!为大家整理了物联网行业全面研究报告、行业洞察、白皮书……

IoT云工坊

人工智能 大数据 5G 物联网 智能家居

“懂行”的价值循环与蝴蝶风暴

脑极体

【Mycat】Mycat核心开发者带你轻松掌握Mycat路由转发!!

冰河

分布式 微服务 分库分表 中间件 mycat

作业-第4周

arcyao

家谱链亮相高交会,点亮“区块链+文化”融合发展之路

WX13823153201

家谱链亮相高交会

成为架构师 - 架构师训练营第 04周

陈永龙Vincent

训练营第四周作业

大脸猫

极客大学架构师训练营

训练营第四周总结

大脸猫

极客大学架构师训练营

《Web应用安全权威指南》.pdf

田维常

区块链治理的真实价值在哪里

CECBC区块链专委会

区块链 治理 治理机制

公有云还能信任吗?Azure遭雷击中断超过一天-InfoQ