“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

Nurse:LinkedIn 的运维自动化修复系统

  • 2015-08-03
  • 本文字数:1541 字

    阅读完需:约 5 分钟

目前,LinkedIn 已经成为全球最大的职业社交网站,其会员人数超过 3.6 亿。随着网站的迅速发展,其维护成本也不断增加,公司员工从几百人增加到数千人。为了维护网站能够正常运转和发展,LinkedIn 设置了一个专门的运维工程师团队,来充分了解网站的每个组件,并确保能够迅速解决网站的问题。然而,近些年网站遇到问题的数量增加了十几倍,使得人工解决问题越来越难。于是,LinkedIn 近期开发了自动修复系统—— Nurse
接下来,本文就 LinkedIn 的自动修复系统进行介绍。

LinkedIn 的网站可靠性工程师 Brian Cory Sherwin 表示,LinkedIn 之前都是采用人工手段来探测和解决网站运行中出现的问题。站点的稳定全都依靠工程师的双眼进行发现,然后利用双手进行手动。然而,从 2010 年到 2015 年,网站遇到问题的数量增加了 18 倍,而工程师数量却只增加了个位数。为了网站的稳定发展,LinkedIn 高层面临了一个重要选择——是相应的增加工程师数量还是设计一个自动的系统来完成大部分工作。当然,根据诸多网站发展的经验,LinkedIn 选择了后者。

作为开发自动修复系统的第一步,开发工程师们需要确定如何利用计算机算法来发现并解决问题。之前,LinkedIn 已经建立一个单独的监控系统。该系统包括了几十万个传感器,能够迅速发现网站异常,并向工程师们发出警告。然而,对于一个自动修复系统,只是发现问题肯定是远远不够的。该系统需要能够自行解决一些比较简单和常见的问题。只有对于无法自动解决的复杂问题,系统进行分类和简单分析后,将其提交给工程师解决。

那么,在发现一个问题之后,系统如何进行分析和解决呢?例如,对于一个具体的问题,基于现象的警告只能说明表相——服务器无法登陆或者应用掉线等。然而,其背后的原因可能多种多样,包括进程失效、服务器崩溃等等。在人工处理情况下,运维工程师会进一步详细分析这些现象,发掘出具体的原因,并相应的执行不同的修复步骤。自动修复系统采用了类似的处理方法。LinkedIn 团队把监控系统所发现的问题送到具体的请求工作流中。这些工作流再根据工程师之前内置的算法和动作来修复网站。以应用程序掉线为例,监控系统发现一台机器处于异常状态,无法服务数据流。之后,数据流会收集事件发生的原因、根据内置算法重启相关进程并把整个数据流的结果放置到卡片中。通过这些自动化的流程,工程师就可以避免把大量精力用在简单问题的处理上,从而把更多精力放置到复杂、深入问题方面的分析和研究中,保证网站长期健康发展。

此外,LinkedIn 已经把 Nurse 与其他系统进行了完美集成。在多个系统中间,Nurse 扮演着中间人的角色。监控系统会把修复工作流的请求发送到该 Nurse,进行问题修复。目前,LinkedIn 已经把代码部署系统、售票系统、远程执行系统等与 Nurse 集成在一起。而且,公司允许站点运维工程师和运维工程师把解决常见问题的方法放置到系统中,供系统自动学习。

在实际测试中,LinkedIn 已经证实了 Nurse 系统的用途。 Sherwin 表示,针对突然断电导致的大量服务器掉线的情况,Nurse 在数分钟即完成了服务器状态的恢复,执行速度大大优于人工解决的情况。而且,Nurse 目前每周会执行 150 个小时的修复工作流,大大节约了工程师的时间和精力。

未来,LinkedIn 会继续对 Nurse 进行改进。其考虑增加和完善的功能包括减少监控系统的资源消耗、减少从异常状态恢复的时间以及允许运维工程师更多的关注基于现象的警告等。而且,该系统为同类型公司和其他网站提供了一定的借鉴。相信未来会有更多的公司推出自动修复系统。


感谢徐川对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群)。

2015-08-03 07:392687
用户头像

发布了 268 篇内容, 共 117.6 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

Proxifier for mac破解版 密钥激活 支持M

iMac小白

java进行数据库操作的并发控制的2种方法

华为云开发者联盟

Java 数据库 后端 华为云 华为云开发者联盟

跨境通讯

ctsxiyou

通信 通讯

轻松搭建基于服务网格的 AI 应用,然后开始玩

阿里巴巴云原生

阿里云 云原生 asm

独立于 Github,更方便地管理自己的静态网站?来试试这套自托管 Git 仓库方案!

快乐非自愿限量之名

git 网站

Curve 如何演进 (1):从 EuroSys'23 CFS 论文看文件系统

OpenCurve

分布式 云原生 文件存储 分布式文件存储 分布式文件系统

某乳品龙头企业,以精细化费用管理降低企业费效比

用友BIP

降本增效

高光回眸:阿里云容器服务如何全面助力精彩亚运

阿里巴巴云原生

阿里云 容器 云原生

淘宝店铺订单接口丨天猫店铺订单接口丨淘宝店铺订单交易信息接口

tbapi

淘宝店铺订单接口 淘宝店铺交易接口 淘宝店铺订单交易接口

MSE Serverless 正式商用,构建低成本高弹性的微服务架构

阿里巴巴云原生

阿里云 微服务 云原生

QCN9074 and QCN6274: Get through the fog of technology and choose your communication partner

wallysSK

活动回顾|阿里云云原生 Serverless 技术实践营深圳站回放 & PPT 下载

阿里巴巴云原生

阿里云 Serverless 云原生

2024 Python开发者转型Go开发

K8sCat

Python Go 语言

永久激活版MAMP PRO for Mac破解版

iMac小白

【鸿蒙千帆起】《钢岚》成为首款基于HarmonyOS NEXT开发的战棋新游

HarmonyOS开发者

HarmonyOS

低代码技术特点揭秘:构建灵活安全的多租户数据生态

天津汇柏科技有限公司

低代码

构建高效数据流转的 ETL 系统:数据库 + Serverless 函数计算的最佳实践

阿里巴巴云原生

阿里云 Serverless 云原生

活动回顾丨云原生开源开发者沙龙深圳站回放 & PPT 下载

阿里巴巴云原生

阿里云 云原生

2024值得关注的技术社区

南城FE

前端 技术社区 技术论坛

探索 Seata 项目开源开发之旅

阿里巴巴云原生

阿里云 云原生 seata

深入解读kubewharf项目:适用场景、优势与劣势 |社区征文

克莱因蓝

云原生 2023 #技术人的2023总结

大模型驱动的AI交互式数字人!

青否数字人

数字人

MacOS数据库:Navicat Premium 15 for Mac中文破解版

iMac小白

如何使用Rust进行系统编程?

程序饲养员

Linux 系统编程 LibC rust语言

Calico IPIP模式下的Cross Subnet特性分析

华为云开发者联盟

开发 华为云 华为云开发者联盟

文心一言 VS 讯飞星火 VS chatgpt (166)-- 算法导论13.1 6题

福大大架构师每日一题

福大大架构师每日一题

日志框架简介-Slf4j+Logback入门实践 | 京东云技术团队

京东科技开发者

linux系统,合并分区是需要重新安装系统吗

德迅云安全杨德俊

无锡梁溪携手极视角共同举办2023无锡首届国际人工智能算法大赛

科技热闻

Koordinator 助力云原生应用性能提升:小红书混部技术实践

阿里巴巴云原生

阿里云 云原生 Koordinator

更顺畅的极狐GitLab安装升级体验来了,赶快尝鲜吧!

极狐GitLab

Nurse:LinkedIn的运维自动化修复系统_语言 & 开发_张天雷_InfoQ精选文章