写点什么

Crisp 是如何实现可扩展微服务监控的

  • 2018-03-29
  • 本文字数:1214 字

    阅读完需:约 4 分钟

看新闻很累?看技术新闻更累?试试下载 InfoQ 手机客户端,每天上下班路上听新闻,有趣还有料!

Crisp 的工程团队分享了他们在监控微服务技术栈方面的经验。他们开源了使用Rust 编写的Vigil 监控项目,该项目是一组拉取/ 推送的探针,用于为多种语言收集健康数据,它包含了一个状态仪表盘并且能够与其他外部告警工具集成。

Crisp 为 Web 站点提供了实时的方案。Crisp 的监控工具,名为 Vigil,包含了探针和一个仪表盘,该仪表盘能够展现探针所收集的各种微服务的状态。Vigil 的探针分为两类:轮询(poll)和推送(push)。轮询探针会阶段性地通过TCP 或HTTP 轮询服务,并基于给定的预期值检查响应内容和响应时间。推送探针通过集成微服务的源码来实现,它会在服务进程内阶段性地发送状态信息给Vigil。这种模式在监控系统中是很常见的,大多数系统这两种方式都支持,只是会加关注其中的某一种。Vigil 是使用 Rust 编写的,在开源之前已经作为内部项目运行好几年了。

Crisp 每月会提供超多 10 亿次的请求。它们的后端有 40 多个不同的微服务,大多数都不是 HTTP 的。服务间的通信通过 RabbitMQ 来实现。有一些基于 HTTP 的微服务,如 REST API,会位于负载均衡器之后。另外,还有大约 20 个守护进程,如 Postfix 和 MongoDB。

每个微服务都会在多个节点上运行,每个节点会通过 replica 标识符来进行标识。节点的状态可以通过仪表盘来获取,可以查看该节点的状态是健康、病态(sick)还是已经死亡(dead)。在判断服务节点处于“病态”时,在两种模型中,分别按照不同的方式来确定,在推送模型中,是因为所报告的系统负载(CPU 或 RAM)超过了一个阈值,而在轮询模型中,则是因为服务的响应消耗了太多的时间。服务的死亡状态表明它可能已经宕机了。

InfoQ 采访了 Crisp 的 CTO Valerian Saliou,以了解 Vigil 如何进行内部和外部监控的更多信息:

当 Web 节点中的某一个节点宕机时,如果微服务节点是按照推送模式监控的话,我们马上就会知道,因为这意味着节点停机后,它就不会发送报告了,Vigil 将会自动触发一个“Down”提醒到 Slack,然后会显示到公开的状态页中,并且会精确定位宕机的节点。

Saliou 说到,对于终端用户外部端点的监控,Vigil 在 https://api.crisp.chat 上会检查 API,通过一个轮询探针检查公开访问的状态是否为 OK。另外,相同 API 的微服务还会通过推送方式进行报告,这就是在 Crisp 的状态页的“Web”分组和“Relay”分组会看到两个对该 API 引用的原因。

Vigil 的推送集成支持多种语言: Rust , node Go 。它还与第三方的工具进行了集成,如 Slack 和 Email,但是还没有对其他常见告警工具的支持,如 Nagios 和 PagerDuty。在 Crisp,Vigil 目前以单节点方式运行。冗余功能目前还没有日程表,Saliou 说因为它的目标是“拥有一个简单的状态页面,足以完成任务,并让 SaaS 开发人员 / 系统管理员能够轻松访问一个不需任何成本的状态页面”。

查看英文原文 Monitoring Microservices at Scale at Crisp

2018-03-29 19:001896

评论

发布
暂无评论
发现更多内容

我眼中的分布式系统可观测性

TiDB 社区干货传送门

PD 客户端源码分析

TiDB 社区干货传送门

安装 & 部署

TiDB备份恢复体系设计与思考

TiDB 社区干货传送门

实践案例 TiDB 底层架构

基于 k8s 与 Chaos Mesh 构建数据库混沌实验日报系统

TiDB 社区干货传送门

实践案例 安装 & 部署

伴鱼数据库之慢日志系统

TiDB 社区干货传送门

MySQL 和 TiDB 互相快速导入全量数据

TiDB 社区干货传送门

迁移

TiDB + 京东云数据库打造极速秒杀体验

TiDB 社区干货传送门

实践案例

TiDB 在微众银行核心批量场景的实践

TiDB 社区干货传送门

实践案例

PD leader 切换耗时分析

TiDB 社区干货传送门

在x86和arm混合部署架构下排查TiKV节点内存占用极高的问题

TiDB 社区干货传送门

性能调优 故障排查/诊断

为TiDB DM添加阿里云RDS/DMS Online DDL支持

TiDB 社区干货传送门

实践案例

58 同城 TiDB 4.0 报告

TiDB 社区干货传送门

实践案例 数据库架构选型

TiDB服务 网卡接收流量][异常:+1] 问题分析& 定位

TiDB 社区干货传送门

故障排查/诊断

漫谈TiDB数据库部署

TiDB 社区干货传送门

安装 & 部署

PD源码解析之PD节点启动

TiDB 社区干货传送门

TiDB 底层架构

TiDB 在爱奇艺实时分析场景的应用实践

TiDB 社区干货传送门

实践案例

dm1.0.5 tidb3.0.15 同步阿里云drds5.7出现的问题

TiDB 社区干货传送门

【TiDB 4.0 新特性前瞻】DBA 减负捷径:拍个 CT 诊断集群热点问题

TiDB 社区干货传送门

理想汽车 HTAP 读流量优化指南

TiDB 社区干货传送门

实践案例

TiDB 在2021汽车之家818全球汽车夜的应用

TiDB 社区干货传送门

实践案例

【精选实践】TiDB 在新东方业务前台及中台的落地

TiDB 社区干货传送门

分布式事务的 Commit Point

TiDB 社区干货传送门

TiDB 5.2 发版 ——“交易+分析”双引擎提速,挑战极限业务场景

TiDB 社区干货传送门

新版本/特性发布

提升问题排查速度 - TiDB 集群问题导图

TiDB 社区干货传送门

【精选实践】TiDB 在喜马拉雅推送系统中的实践

TiDB 社区干货传送门

K8S上TiDB集群升级卡住问题探讨

TiDB 社区干货传送门

【精选实践】TiDB 在聚美短视频业务的实践与应用

TiDB 社区干货传送门

br 备份到 s3 时 endpoint 参数加目录分隔符后缀问题排查

TiDB 社区干货传送门

管理与运维

网易云音乐 DBA 谈 TiDB 选型:效率的选择

TiDB 社区干货传送门

实践案例

某报表业务升级5.0解决慢SQL问题

TiDB 社区干货传送门

管理与运维 故障排查/诊断

TiUP升级集群报Run Command Timeout/SSH Timeout错误解决方案

TiDB 社区干货传送门

Crisp是如何实现可扩展微服务监控的_DevOps & 平台工程_Hrishikesh Barua_InfoQ精选文章