【QCon】精华内容上线92%,全面覆盖“人工智能+”的典型案例!>>> 了解详情
写点什么

Monzo 服务中断事后分析

  • 2017-11-12
  • 本文字数:701 字

    阅读完需:约 2 分钟

Monzo 是英国的一家仅提供移动端服务的数字银行。近日,该银行的活期账户支付和预付信用卡系统出现了服务中断。Monzo 工程部门负责人 Oliver Beattie 交由 Monzo 社区论坛来提供服务中断的事后分析。

在最初架构设计的时候,Monzo 就将在全球范围内提供服务作为核心前提之一。久而久之,这使得他们开发了数以百计的微服务。

这些微服务被打包进 Docker 容器,使用 Kubernetes 部署到 AWS 上。服务的编排是由 etcd 完成的,kubernetes 就是用它来识别服务的部署位置以及每个服务的状态。服务间的路由和负载均衡是使用 linkerd 实现的。

服务中断既影响了预付信用卡,又影响了活期账户持有者。造成此次服务中断的原因有多个。

首先,Kubernetes 的一个 Bug 会导致请求在集群重新配置后超时。在服务实际中断导致这些超时出现之前一周,他们进行了集群重新配置,使 linkerd 接收不到 Kubernetes 的更新。

再者,当服务中断发生时,他们的一个直接反应是重启所有的 linkerd 实例,这暴露出了一个问题,Monzo 使用的 Kubernetes 和 linkerd 版本不兼容,情况变得更加糟糕,从服务中断变成了整个平台的故障。Monzo 社区论坛的相关主题里也列出了事件的完整时间表。

从这样一次服务中断里可以汲取一些有价值的教训。除了修复Bug、检查不同库的版本兼容性及其他问题外,Monzo 认识到了改进内部或外部通信中断的处理措施的必要性。

此外,另一个教训是认识到了报警、控制面板、对应用程序的每一层进行健康检查从而及早发现人为错误及其他错误的重要性。总而言之,重要的是,以后要采取一切措施防止服务中断,既能解决问题,又能就正在发生的事清晰地沟通,这样,将来就可以构建起更好的保障措施。

查看英文原文 Monzo Outage Post Mortem

2017-11-12 18:001242
用户头像

发布了 1008 篇内容, 共 372.2 次阅读, 收获喜欢 340 次。

关注

评论

发布
暂无评论
发现更多内容

「认知」打工人的自我修养

职场 认知

IoTLink 轻量级的物联网综合业务支撑平台

山东云则信息科技

Java 物联网 spring-boot

IoTLink v1.2.1 最新公告

山东云则信息科技

Java 物联网 springboot

您有一套专属权益已送达,请注意查收

天翼云开发者社区

安全可信| 密评合规!天翼云全栈混合云通过商用密码应用安全性评估!

天翼云开发者社区

效能改进中的度量实践

feijieppm

项目管理 研发效能 技术管理 文化 & 方法 效能度量

DIMP:Learning Discriminative Model Prediction for Tracking 学习判别模型预测的跟踪

代码的路

神经网络

阿里云AIoT 经典基础知识 快问快答——基础知识

阿里云AIoT

Serverless 物联网 API 消息中间件 弹性计算

微服务引擎 MSE 升级至 3.0:降低微服务在云原生时代的演进成本

阿里巴巴中间件

阿里云 微服务 云原生

混沌演练实践(一)

京东科技开发者

测试 混沌工程 系统 混沌测试 企业号 1 月 PK 榜

MarkDown简明语法手册

代码的路

markdown

2023年有哪些具备潜力的加密投资标的?

股市老人

应用 Serverless 化,让业务开发心无旁骛

阿里巴巴中间件

阿里云 Serverless 云原生

容器服务与达摩院合作 AHPA 获 AAAI 2023 IAAI人工智能创新应用奖

阿里巴巴中间件

阿里云 容器 云原生

2023年了 对Go做一个全网最全的总结

卡二条

Go Go Concurrency Patterns Go web

Java高手速成 | 实现人物拼图游戏

TiAmo

Java 拼图

RatingBar(星级评分条)

攻城狮Wayne

Android Studio 星级评分条 ratingbar

2023-01-11:体育馆的人流量。编写一个 SQL 查询以找出每行的人数大于或等于 100 且 id 连续的三行或更多行记录。返回按 visit_date 升序排列 的结果表。 DROP TAB

福大大架构师每日一题

MySQL 福大大

大前端—2022明星项目,2023展望

非喵鱼

JavaScript Vue 前端 React 前沿技术

项目制实践如何助力组织进化

feijieppm

项目管理 研发效能 技术管理 文化 & 方法 效能度量

Higress 开源后,我们整理了开发者最关心的 15 个问题

阿里巴巴中间件

阿里云 云原生 Higress

GAN:生成对抗网络 Generative Adversarial Networks

代码的路

神经网络

阿里巴巴重磅开源云原生网关: Higress

阿里巴巴中间件

阿里云 云原生 Higress

TapTap算法平台的 Serverless 探索之路

Serverless Devs

DW-Siam:Deeper and Wider Siamese Networks for Real-Time Visual Tracking 更宽更深的孪生网络

代码的路

神经网络

GA-RPN:Region Proposal by Guided Anchoring 引导锚点的建议区域网络

代码的路

神经网络

《天翼云安全白皮书》发布!共铸国云安全生态!

天翼云开发者社区

天翼云荣获2022年度“边缘计算先锋企业”“分布式云先锋企业”称号!

天翼云开发者社区

大规模 Kubernetes 集群故障注入的利器-ChaosBlade

阿里巴巴中间件

阿里云 Kubernetes 云原生 ChaosBlade

问题盘点|使用 Prometheus 监控 Kafka,我们该关注哪些指标

阿里巴巴中间件

kafka 阿里云 云原生 Prometheus

事件总线 + 函数计算构建云上最佳事件驱动架构应用

Serverless Devs

Monzo服务中断事后分析_架构_Alex Giamas_InfoQ精选文章