阿里云飞天发布时刻,领先大模型限免,超7000万 tokens免费体验 了解详情
写点什么

当国产夜莺遇上国际化 Prometheus

朱春来

  • 2020-06-30
  • 本文字数:1103 字

    阅读完需:约 4 分钟

当国产夜莺遇上国际化 Prometheus

滴滴开源的企业级监控系统(夜莺)衍生自 OpenFalcon,对其进行了大量深入的优化,特别是监控报警方面融合了大量滴滴生产级的实践,社区可以直接分享此红利。美菜网看到了夜莺的很多优势后,果断将原先基于 OpenFalcon 架构的监控系统整体迁移到夜莺架构上来,并在迁移的过程中将之前的一些实践融合进来,Prometheus-Exporter-Collector 正是此过程中的一个产物。



注:本文中所提到的各类资源请在附录中索骥查看

1、为什么引入 Prometheus-Exporter-Collector 采集插件?

美菜网在监控平台建设的过程中,涵盖了基础设施、存储、中间件和应用服务多层次的监控。基础设施部分,直接采用了 OpenFalcon 生态的采集插件;存储和中间件层面,我们发现 Prometheus 更加丰富与完善,因此希望将 Prometheus 与 OpenFalcon 整合起来发挥各自的优势。迁移夜莺的过程中,我们希望继续发挥这种优势,夜莺优秀的插件扩展机制让一切变得简单,于是诞生了 Prometheus-Exporter-Collector。


Prometheus-Exporter-Collector 可以支持各类 Exporter,夜莺轻松拥有 Prometheus 生态的采集能力,目前在美菜已经投产了 MySQL、Redis、ElasticSearch、Ceph、Hadoop 体系、Nginx 等,更多的 Exporter 插件请查看官方文档。

2、如何与夜莺整合?

Exporter 定位指标采集,在 Prometheus 体系中采用的拉模式获取指标,而夜莺则采用的是推模式,因此两者之间需要一个桥梁来衔接,Prometheus-Exporter-Collector 承担此角色。在夜莺的体系中它作为插件存在,由 collector 驱动其运行,周期性地从 Exporter 中读取指标,并转换成夜莺的数据模型后推送到夜莺的服务端,采集信息在夜莺的管理控制台(WEB 端)简单配置并下发给 collector 即可。


在 Exporter 和夜莺的数据模型转换过程中,遵循了如下规则:


  • 指标名称(metric)、标签(tags/labels)和值(Value)直接转化;

  • 时间戳(timestamp)默认 Exporter 指定,没有则 Prometheus-Exporter-Collector 使用当前时间填充;

  • 支持用户追加新的标签;

  • Endpoint(夜莺特有概念)默认本机,由夜莺的 collector 填充,当然用户也可以在配置侧自定义;

  • 指标类型,Prometheus 采取的策略是使用者采用函数自由转换,我们希望引入一些最佳实践简化使用,对于计数器类型,我们支持用户配置策略将其转换成差值(Substract)和速率(Rate)、Uptype 类型默认转换成 Guage;

3、使用指南

在夜莺采集配置中配置 Prometheus-Exporter-Collector 采集插件(及其参数)即可,如下图所示:



附:ES 监控大盘


4、附录

Prometheus-Exporter-Collector


Prometheus exporter集合


[视频] Nightingale-系列10-新版插件以及与Prometheus Exporter整合(By 秦晓辉)


夜莺(Nightingale)github 主页


2020-06-30 10:273598

评论

发布
暂无评论
发现更多内容

高效开发系列:鸿蒙原生app套用混合app开发思路

FinFish

HarmonyOS 鸿蒙应用开发 小程序容器 混合app开发 鸿蒙原生app

咖啡价格卷至6块6,这次轮到库迪慌了?

Alter

TikTok运营为什么需要独立IP?怎样获得独立IP?

Ogcloud

TikTok 云手机 海外云手机 tiktok云手机 tiktok运营

看过来,征文送好礼活动持续开放中!

Apache IoTDB

京东JD商品详情API返回值实践:电商数据驱动的精准营销实践

技术冰糖葫芦

api 网关 API 文档 API 策略 pinduoduo API

HDC2024直播盛宴,HarmonyOS最新进展不容错过!

极客天地

ShineScrum捷行近期课程安排

ShineScrum

Open To Buy(OTB)计划:零售业者的库存管理利器

第七在线

和鲸101计划:R语言医学数据分析,复现顶刊图表

ModelWhale

数据分析 R语言 医学

pr 2021下载:Premiere Pro 2021 for Mac/win版

你的猪会飞吗

pr2020破解 视频剪辑软件

一文看懂人工智能、机器学习、深度学习是什么、有什么区别!

不在线第一只蜗牛

人工智能 机器学习 深度学习

很多人容易犯的面试错误

老张

面试 面试经验

跨云迁移新选择:NineData 助力GCP Cloud SQL MySQL安全快速迁移

NineData

MySQL Google 数据迁移 跨云迁移 GCP Cloud SQL MySQL

敏捷开发时代,彻底结束了

禅道项目管理

团队管理 项目管理 DevOps 敏捷开发

人工智能大模型——零样本提示

霍格沃兹测试开发学社

一文读懂Partisia Blockchain 全新开发者计划,最高25k $MPC 资助

加密眼界

和鲸101计划:解读BrainPy,数字化大脑计算基建

ModelWhale

大数据 数字化

结硬寨:联想服务器的向前之路

脑极体

AI

Web3 游戏周报(6.09 - 6.15)

Footprint Analytics

链游

AI时代的数据治理:挑战与策略

郑州埃文科技

香港Web3时代:比特币可以成为「收益性资产」吗?

TechubNews

和鲸101计划:数据驱动的临床预测模型构建

ModelWhale

数据 医学

解读自然语言处理:技术、应用与未来展望

天津汇柏科技有限公司

人工智能 自然语言处理

当国产夜莺遇上国际化 Prometheus_开源_R. Colin Johnson_InfoQ精选文章