“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

Checkly 如何借助 Terraform 实现零宕机部署

  • 2018-11-26
  • 本文字数:1788 字

    阅读完需:约 6 分钟

Checkly如何借助Terraform实现零宕机部署

Checkly 是一款验证 API 端点正确性和浏览器点击流的监控工具。Checkly 创始人 Tim Nolet 分享了他们在 AWS 上基于 Docker 的基础设施中借助 Terraform 实现零宕机部署的经验。


Checkly 使用“工作者(worker)”运行用户提交的作业。每名工作者在一个 Docker 容器中运行,5 个容器运行在一个 EC2 实例上。Checkly 面临的挑战是,在不影响用户体验的情况下部署到 AWS,同时支持代码的多版本和工作者代码的独立升级。他们使用 Terraform 的模块、滚动更新和自定义远程执行程序代码来实现这一目标。


Checkly 使用 Puppeteer 框架自动化浏览器操作。Puppeteer 是一个面向 Chrome 浏览器的无头 Node API。每个 Checkly 工作者是一个 Node 进程,可以接受参数和运行测试,而不需要保存任何状态,这样便于根据请求流量进行横向扩展。用户请求被 cron 作业压入一个 AWS SQS 队列,工作者从中取出,并把结果放入另一个队列。失败的作业不会调用 SQS API 来删除消息,而是会重试。部署一个新版本到 AWS 是通过一个基于 Docker 的生命周期,后续使用 Terraform 原语进行滚动更新。代码会经过三个环境——开发、测试和生产。为了解更多信息,InfoQ 联系了 Checkly 创始人 Tim Nolet:


Docker 容器中内置了单元测试代码,build、tag、push 等 Docker 命令作为脚本包含在 package.json 中。我们把容器(标记上一个版本号和“测试”标签)push 到我们的私有 Docker 注册库,然后完成一个测试 EC2 实例周期,后者会使用 Terraform 的“taint”命令 pull 最新的测试容器。


Terraform 中的“taint”命令会强制销毁和重新创建资源(在本例中是 EC2 实例)。Checkly 的团队让测试实例运行几天。如果一切顺利,Docker 镜像将被重新标记为“最新”,所有生产 EC2 实例都将重复“taint”命令,从而完成滚动更新。Checkly 的其中一个目标是允许应用程序的多个版本共存,这可能需要在代码或数据存储和消息队列中进行额外的处理。例如,如果 SQS 消息中使用的 JSON 格式发生了变化,那么在较短的时间内,这两种格式都必须处理,旧格式减少而新格式增加。Nolet 详细阐述了他们的方法:


由于我们还很年轻,所以在整个数据传输对象或消息传递方案中还没有发生很大的变化。但我总是会在代码中解决这个问题。队列总线、存储和所有其他中间件都不是做这件事的合适位置。因此,如果这意味着要用一堆额外的 if 语句或 case switch 来处理这两种消息类型,那就这样吧。我们使用 Postgres 作为主要的数据存储,因为 JSON 字段非常适合于数据模型的小幅调整,不会带来很多麻烦。


Terraform 提供了 create_before_destroy 等原语,以及 Checkly 使用的远程执行程序。create_before_destroy 标志可以用于所有 Terraform 托管资源,用于确保在删除旧资源之前创建一个替换资源。当 Terraform 调用底层 AWS 配置程序时,remote-exec 命令会不断检查 Node 进程是否在容器中运行,是就返回,然后向 Terraform 发出资源就绪的信号。它使用一个简单的 grep 命令来实现这一点。Checkly 的 Terraform 代码被组织成模块,每个 AWS 区域一个模块。


Terraform 代码可以通过测试工具包进行测试,比如 Terratest,它可以验证 Terraform 管理的基础设施。然而,Checkly 并没有为此使用任何测试框架,而是依赖于这样一个事实,“测试和生产环境相同,任何主要问题都可以在测试环境中发现”,Nolet 如是说。


Checkly 的基础 Docker 镜像是基于 Ubuntu 的,其中包含运行 Puppeteer 和无头 Chrome 所需的所有包,这增加了一些额外的库和字体。Docker 容器运行一个 PM2 进程,该进程会启动一个 Node 进程。按照 Nolet 的说法,Docker 策略这一部分很稳定,可能导致部署回滚的错误通常出现在实际的产品代码中。Checkly 同时使用 AWS CloudWatch 和 AppOptics 进行监控。CloudWatch 针对 AWS 队列大小、延迟以及实例的基本健康状况发出警告。AppOptics 更侧重于应用程序,检查一些指标,比如最近 10 分钟里给定区域内的运行次数,或者给定区域内的运行时间。Checkly 的状态仪表板是公开的。


查看英文原文:https://www.infoq.com/news/2018/11/checkly-terraform-deployments

活动推荐


12 月 7 日北京 ArchSummit 全球架构师峰会上,来自 Google、Netflix、BAT、滴滴、美团 等公司技术讲师齐聚一堂,共同分享“微服务、金融技术、前端黑科技、智能运维等相关经验与实践。详情点击 https://bj2018.archsummit.com/schedule


2018-11-26 16:571623
用户头像

发布了 1008 篇内容, 共 372.1 次阅读, 收获喜欢 340 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

【并发编程的艺术】内存语义分析:volatile、锁与CAS

程序员架构进阶

Java 架构 Java内存模型 28天写作

PostgreSQL使用clickhousedb_fdw访问ClickHouse

PostgreSQLChina

数据库 postgresql 开源 软件

nacos 配置中心自动化运维之namespace坑

Sky彬

nacos

2021年1月国产数据库排行榜:OceanBase重回前三,TDSQL增长趋势最强劲!

墨天轮

数据库

云原生架构下复杂工作负载混合调度的思考与实践

星环科技

云计算

滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台

滴滴云

kafak 滴滴开源 监控告警 运维平台

【Skeleton】按钮

德育处主任

CSS 大前端 CSS小技巧 28天写作 纯CSS

区块链养成宠物游戏开发动物世界app系统搭建方案

v16629866266

一文读懂HTTP协议的昨天,今天与明天

后台技术汇

28天写作

LeetCode题解:389. 找不同,位运算,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

阿里P8大牛亲自教你!实战讲述Flutter跨平台框架应用,安卓系列学习进阶视频

欢喜学安卓

android 程序员 面试 移动开发

产品利益相关者分析

LT_product_elearning

听说隔壁班的程序员给女友做了个智能风扇

智能物联实验室

物联网

《Java 面经手册》PDF,全书5章29节,417页11.5万字,完稿&发版!

小傅哥

Java 面试 小傅哥 PDF 面经手册

面试官:一年跳槽三次,你是怎么做到的?

程序员阿沐

程序员 面试 软件测试 测试工程师

kotlin下载!我们究竟还要学习哪些Android知识?Android岗

欢喜学安卓

android 程序员 面试 移动开发

Elasticsearch和Kibana变更开源许可协议;Facebook利用AI增强为视障人士描述照片能力

京东科技开发者

云计算

不可忽视的PHP数据精度损失问题

架构精进之路

php 七日更 28天写作

一文告诉你Java日期时间API到底有多烂

YourBatman

LocalDateTime Date JSR310 Calendar

互斥锁 vs 自旋锁

行者AI

互斥

图解分析:Kafka 生产者客户端工作原理

码农架构

kafka 中间件 消息队列 消息中间件

JDK源码深度学习!阿里P9架构师终于总结出了这份“源码级”的笔记了

Java架构追梦

Java 源码 架构 jdk 面试

自动化测试现状趋势解读,附带近年自动化测试常用工具

程序员阿沐

程序员 软件测试 自动化测试 测试工程师

软件测试在不同应用场景中,我们该如何进行测试呢?

程序员阿沐

编程 程序员 软件测试 教程 测试环境

免费ETL批量调度,任务调度,作业调度自动化运维工具Taskctl Web

TASKCTL

大数据 kettle 海豚调度 自动化部署 ETL

毫不留情地揭开负载均衡的真面目~

田维常

负载均衡

2021分享三面阿里:Java面试核心手册+Java电子书+技术笔记+学习视频

比伯

Java 编程 架构 面试 程序人生

同事有话说:ThreadPoolExecutor是怎么回收线程的

Java 程序员 面试

并发条件队列之Condition 精讲

伯阳

AQS 多线程 lock Condition 条件队列

转角遇上Volcano,看HPC如何应用在气象行业

华为云开发者联盟

容器 云原生 HPC Volcano 批量计算

使用 async_hooks 模块进行请求追踪

智联大前端

node.js 大前端 koa async_hooks

Checkly如何借助Terraform实现零宕机部署_容器_Hrishikesh Barua_InfoQ精选文章