领英大规模工程基础架构:概述

阅读数:1753 2016 年 11 月 23 日 16:09

(点击放大图像)

领英大规模工程基础架构:概述

这一系列博客文章将介绍促进领英内部数百位工程师的创新精神,帮助他们以敏捷、高质量、高效率地方式持续发布新软件所使用的工程基础架构(技术、过程、工具、文化)。这是系列文章的第一篇,将概括介绍整体架构、工作流,以及规模。

如上图所示,领英针对 iOS 和 Android 开发了原生应用,以及针对移动和桌面浏览器的 linkedin.com 网站。这四类客户端均调用同一套共享的 API 前端,借此与领英的各种中间层和后端服务交换数据。四种客户端提供了高度一致且类似的用户体验和功能。

我们使用了四个主代码库(Repo),每个对应一个平台:iOS、Android、Web(移动和桌面浏览器客户端共享同一个代码库以及大部分逻辑),以及 API。每个主代码库还包含十几个专门针对特定个平台开发的库(Library)代码库。四个主代码库每个包含超过 5,000 个文件,代码行数均超过 50 万行,总共有大约 200 个人负责提交代码。一个代码库的提交速率峰值约为每小时 15 次,每天 60 次,每周 250 次。我们使用了主干开发(Trunk development)的模式,即每个代码库只有一个分支,每个人的提交,以及我们的发布操作都从这一个分支进行,每天会进行多次。

代码流程大致如下图所示,每个步骤和整个流程会多次进行迭代:

(点击放大图像)

领英大规模工程基础架构:概述

  1. 为重大功能制定架构设计文档,并且必须通过设计审阅。

  2. 所有功能进行自动化测试,大部分功能具备 Sphinx 文档。功能、测试和文档均提交至同一个代码库。

  3. 所有代码变更须进行代码审阅,并需要同时通过所有者 ACL(访问控制列表以及每个文件的所有者)和平台 ACL(访问控制列表,并通过专家确保代码完整性、一致性,以及在特定平台上的最佳实践遵循情况)进行“发布”。

  4. 在预提交提交阶段,将代码正式提交至代码库之前,每次提交必须通过代码库中进行的静态分析、构建,以及自动化测试(单位 / 布局 / 场景,每个代码库共进行了约 4,000 次测试,且数量还在增加中)。如果预提交阶段有任何步骤失败,提交将被拒绝。同时进行的多个提交可并发执行预提交流程。

  5. 一旦提交至代码库,提交的内容必须通过提交后阶段相同(甚至更严格)的一系列测试,以确保所有提交在合并后依然可以为每次提交生成高质量、可发布的构建。如果提交后测试失败,提交可能被自动恢复,或由随时待命的工程师立刻修复。如果提交后测试成功,构建将被发布至 Artifactory 等待发布给用户设备(iOS 和 Android)或部署至生产站点(Web 和 API)。

  6. 对于 iOS 和 Android,每次成功的构建会通过应用内置的更新功能立刻发布给 Alpha 渠道(移动团队)。每周会有一个 iOS 构建和三个 Android 构建通过 MDM(移动设备管理)系统、应用内置的更新功能、TestFlight(iOS)或 Play Store(Android)的 Beta 渠道发布给 Beta 渠道(公司员工和 Beta 公测用户)。如果没发现什么严重问题,每周三我们会将某一个 Beta 构建通过 Apple 的 App Stora 和 Google 的 Play Store 发布给生产渠道(所有领英用户)。

  7. 对于 Web 和 API,每次成功的构建会自动部署至负责运行自动化测试的 EI 和 Staging(测试环境)。如果运行通过,该构建会自动部署至生产环境的金丝雀(Canary)设备,通过这些设备为请求提供服务,并与其他生产设备进行对比,通过各种度量值(HTTP 200/400/500 返回代码、异常、Fanout、延迟等)进行统计分析,这一过程也叫做 EKG。如果 EKG 通过,待命工程师会将其部署至生产环境,随后队列中的下一个构建将成为下一个候选部署。我们会在每个工作日的大约早 9 点、12 点,以及下午 3 点进行部署。

  8. 所有新功能和 WIP(Work In Progress,未完工程)均可得到 LiX'es( LinkedIn eXperiment )的保护,因此开发过程中只能被相应的功能团队所访问,随后将逐渐扩大至公司或公开范围,借此征集反馈并进行 A/B 测试,如果发现重大问题会立刻撤回。一旦全面推出,为确保代码库整洁和易于维护,还必须移除 LiX'es。

我们将这种工程过程称之为“3x3”:每天发布三次,代码提交时间和最终发布给用户的时间之间不超过三小时!

作者 Ning Zhang 阅读英文原文 Engineering Infrastructure at Scale: Overview


感谢陈兴璐对本文的审校。

给 InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

收藏

评论

微博

用户头像
发表评论

注册/登录 InfoQ 发表评论