MeilleursAgents是如何监控分布式任务队列的-InfoQ



 写点什么

看新闻很累？看技术新闻更累？试试下载 InfoQ 手机客户端，每天上下班路上听新闻，有趣还有料！

MeilleursAgents 网站能够列出资产卖家的资产及其评估的价格，该网站分享了他们基于Celery 的分布式任务队列是如何监控的。由Python、StatsD、Bucky、Graphite 和Grafana 联合组成的管道能够监控任务的生命周期和执行率。

该文主要关注他们是如何监控Celery 运行的。 Celery 是一个由 Python 编写的分布式任务队列，它使用 broker- 客户端模式来分配任务给工作者（worker）。监控分布式任务队列是非常困难的，因为工作者节点是分布式的，很难跟踪特定请求的状态，如果跨多个系统的话，则会更加困难。但是，这种情况下的监控是关于整体成功 / 失败以及执行率的。每个阶段任务的累积数量，即已接收的（received）、已处理的（processed），也能反映出任务队列是否有速度减缓的情况。InfoQ 联系到了 MeilleursAgents 的工程主管 Pierre Boeuf 来学习这一话题。

指标收集管道包含 Python 客户端，它会监听 Celery 事件并使用 StatsD API 将数据推送至 StatsD 。然后，数据会被发送至 Bucky，Bucky 会将数据写入到 Graphite 中。 Bucky 会运行一个服务器，将传入的指标数据进行处理并转换成 Graphite 能够理解的格式。Bucky 所接收的指标可以是 StatsD 或 Collectd 这种指标工具所收集到的原始数据，如果 Graphite 无法理解传入的指标格式的话，那么 Bucky 就派上用场了。在 MeilleursAgents，Graphite 安装时使用了 Whisper 作为后端数据库。Boeuf 说团队在使用 Graphite 中还没有遇到扩展性方面的问题：

我们遇到的唯一扩展性相关的问题是因为将 StatsD 和 Graphite 放到了同一台服务器上。随着请求的增加，它出现了过载，所以我们现在在每台机器上都有本地 Bucky，它会推送指标数据。

Grafana 用来作为查询指标的前端。监控项包括任务、broker 以及工作者。按照 Boeuf 的说法，Web 和数据团队会使用仪表盘。

图片来源： https://medium.com/meilleursagents-engineering/how-we-monitor-asynchronous-tasks-da25728173d6?__s=6cjguhzuufdark8he4bm

他们组合使用 diffseries （在 Graphite 中，抽取时间序列的方式）和 Grafana着色（coloring）相关的配置可视化高亮显示可能存在的问题，比如红色背景代表某个应该为零的指标出现了非零的状况。 NewRelic 和 Google Cloud Monitoring ，前者是一个外部工具，后者是产品所部署的云环境的一部分，这两个工具会负责告警部分。另外，NewRelic 还会监控 Celery 进程本身，确保它们处于运行状态。Grafana 也有内置的告警支持以及像 Pagerduty 和 OpsGenie 这样的集成服务，但是团队并没有采用它们。

查看英文原文： Monitoring Distributed Task Queues at MeilleursAgents