写点什么

Puppet 监控速查手册:问题 / 原因→解决方案

  • 2019-09-15
  • 本文字数:1917 字

    阅读完需:约 6 分钟

Puppet 监控速查手册:问题 / 原因→解决方案

Puppet 是基于 C/S 架构的集中配置管理系统,基于自有描述性语言,可以实现对配置文件、用户、定时任务、软件包、系统服务等管理,保证大规模集群基础配置一致性。


我们用 Puppet 管理了上千台服务器,经过多次优化监控,自动化灰度发布保证了所有集群基础配置一致性。本文探讨了如何对 Puppet 系统进行监控,也将典型问题和解决方案一并分享给大家。

监控选型

Foreman 提供了较全面的交互设施,包括 Web 前端、CLI 和 RESTful API。在此基础之上,可以构建监控管理系统,以及实现报警等功能。

核心业务流程

可以简单将 Puppet 的工作流程抽象为四部分:


  • 请求阶段:Agent 基于 SSL 将自身信息发送给 Server;

  • 响应阶段:Server 基于客户端信息解析相应的配置,并最终将伪代码(catalog)发送回 Agent;

  • 执行阶段:Agent 接收 catalog 并执行命令或者更新文件;

  • 汇报阶段:Agent 把结果汇报给 Server。



图 1 Puppet 工作流程

监控概览

对 Puppet 的核心监控主要覆盖如下环节:


  • Agent 与 Master 通信是否正常;

  • Agent 策略执行是否生效;

  • Puppet 发布的策略生效时间及范围;

  • Master 及其所管理集群的运行状态。

黑盒监控

Puppet 黑盒监控指标不符合预期,说明集群不能正常工作或出现异常,黑盒监控指标有:所有策略是否都生效,策略生效范围是否符合预期,策略生效结果是否符合预期。


所有策略是否都生效


说明:将一批测试节点,加入到线上 Puppet 集群,通过定期运行检查脚本验证所有策略是否都生效。


策略生效范围


说明:策略上线后,需要确认其生效范围是否符合预期,即策略是否仅在指定的节点生效。


实现:通过 Puppet 模块 MCollective 定时执行检查任务(检查实际生效的机器列表和服务树机器列表是否一致),如下图,集群 hn-xdata 有 98%的机器符合预期,2%不符合。



图 2 Puppet 策略生效范围监控


策略生效结果是否符合预期


说明:策略上线后,需要确保所有策略在所有机器都生效。


实现:通过 Puppet 模块 MCollective 定时执行检查任务,(检查实际生效的机器列表和服务树机器列表是否一致),如下图,每一个策略有一张饼图。



图 3 Puppet 策略结果监控

白盒监控

白盒监控是黑盒监控的补充,服务于故障定位,从集群容量、流量、延迟、错误四个方面梳理。


数据采集方式:


  • 通过 Foreman API

  • Master 日志分析


表 1 通过 Foreman API 获取采集的白盒指标概览



容量


Master 所在实例的 CPU,网络连接数指标,网卡


流量


Agent PV,基于 Puppet Master 的访问日志 puppetserver-access.log 来计算流量



图 4 Agent PV 流量图


延迟


单个 Agent 更新策略需要的时间:puppet_report_time_total


说明:puppet_report_time_total 是 Agent 从连接 Master 到发送报告给 Master 总时间,0-3s 的占 50%,0-11s 的占 90%,0-15s 占 99%。



图 5 Agent 延迟


错误


  • No reports:没有报告的实例数量;

  • Error agent:执行策略出错的实例数量;

  • Out of sync:执行策略超时、主机名重复、主机连不上 Master 的实例数量。



图 6 Foreman 错误监控指标

Puppet 监控发现的问题

Agent 覆盖所有机器


问题:不能保证所有机器 Agent 都正常运行。


解决方案:基于服务树或者 CMDB 相关系统将所有机器填加 Agent 进程监控。


Agent 执行策略超时


问题:大文件并发下载时,出现超时告警。


排查方法:在 Agent 上执行命令“puppet agent -t --debug”, 发现在拉取文件时超时,由于文件较大,在 Master 上同时很多 Agent 拉取,导致超时。


解决方案:将大文件存放在云存储上,提高下载速度。


分组不止仅限于现有 Facter 属性


问题:策略分组和灰度发布分组现有 Facter 属性不满足。


原因:随着接入业务越来越多,业务分组也越多。


解决方案:自定义 Facter。


Agent 不同步(Out of Sync)


问题:Agent 报不同步。


原因及解决方案:


表二



策略发布到非预期集群


问题:策略生效范围出错。


原因:Puppet Master 入口文件统一为 site.pp,由于策略分组多,在灰度发布阶段,相应分支也会很多,运维工程师很容易操作出错。


解决方案:将 site.pp 作为一个策略模块进行管理,策略模块中包含默认 default 分组,以及需要灰度发布的分组。manifest 文件夹下的 site.pp 只需 include 该模块即可。



图 7 site.pp 优化后 default 分组策略



图 8 策略发布灰度阶段分组


功能监控发现所同步的文件非预期


问题:Master 采用集群方式部署,在策略变更期间多台 Master 上数据可能不同步,此时,同一 Agent 拉取到的文件可能不一致 。


原因:由于有多台 Master,其中一台 Master 没有更新文件,LB 通过轮询策略进行转发,当 Agent 请求 Master 时是 Master A,再拉取文件时请求的可能是 Master B,两台 Master 数据不一致。


解决方案:LB 策略更新为源 IP 哈希。


本文经授权转自公众号京东云,原文链接为:


https://mp.weixin.qq.com/s/aHC8U9AOUQqhrMz67v4_pg


2019-09-15 16:201765

评论

发布
暂无评论
发现更多内容

Sonoma Cache Cleaner for Mac 苹果系统优化工具

彩云

Sonoma Cache Cleaner 系统优化工具

浅谈仓储UI自动化之路 | 京东物流技术团队

京东科技开发者

测试 自动化测试 UI自动化测试 企业号11月PK榜

推荐一个适合小公司的自动化部署脚本

秃头小帅oi

程序员 自动化部署

苹果超好用的Markdown文本编辑器:Ulysses for Mac最新激活 支持M1

彩云

文本编辑器 Ulysses

Amazon EC2 新手初探:初始设置之密钥对

王强

亚马逊云服务 Amaozn EC2

开源埋点分析系统:洞察用户行为的新视角

ClkLog

开源 埋点 用户行为分析 用户分析 埋点框架

通过Python脚本支持OC代码重构实践(三):数据项使用模块接入数据通路的适配

百度Geek说

Python 自动化 重构 脚本 企业号11月PK榜

企业、政府单位及公共组织办会,一键高效合规直达酒店!

用友BIP

企业数智化

2023年双11大促,华为云耀云服务器最佳抄底时间来袭!

YG科技

Amazon EC2 新手初探:初始设置之创建安全组

王强

Amazon EC2 亚马逊云服务

服务器硬盘选机械还是固态

Geek_f19a80

服务商

为React Ant-Design Table增加字段设置 | 京东云技术团队

京东科技开发者

前端 React Ant Design 企业号11月PK榜 前端组件

英特尔CEO:以“系统级代工”满足“芯经济”时代客户需求

E科讯

Dapp技术开发介绍

区块链技术

WorkPlus移动数字化平台,助力企业全面掌控业务和生态

BeeWorks

理解技术和业务的共同目标

老张

质量保障 业务目标 技术目标

2023双十一爆单攻略,中小跨界商家别错过华为云捞金最佳机遇.

YG科技

promise时效架构升级方案的实施及落地 | 京东物流技术团队

京东科技开发者

架构 重构 Promise 架构升级 企业号11月PK榜

Android下Linux创建进程的姿势(下)

江湖修行

android Linux Kenel 移动端 #面试 #前端

用友与清华合力赋能,提升大型企业数智化领导力!

用友BIP

企业数智化

火山引擎ByteHouse:4000字总结,Serverless在OLAP领域应用的五点思考

字节跳动数据平台

数据库 大数据 云原生

第五期 |《实时洞察 智能运营一用友企业绩效管理白皮书》解读

用友BIP

企业绩效

从职场到创业,请查收华为云这份高效创业指南

YG科技

同程面试:说一下多态的实现原理?

王磊

Java 面试 java面试

Kubernetes 漫游:理解 ConfigMap

Phoenix

Kubernetes, 云原生, eBPF

云渲染的“公”“私”技术!

Finovy Cloud

渲染 云渲染 元宇宙 云渲染农场 动画制作

2024上海国际智能驾驶技术展览会

AIOTE智博会

自动驾驶展 智能驾驶展

对话在行人|新漢智能:基于用友BIP共创智能解决方案,使能中企全球化

用友BIP

数智化领先实践 中企全球化

Java基础面试题【分布式】Kafka

派大星

Java 面试题

走进中国近代工业摇篮,探索业财融合领先实践

用友BIP

业财融合

Puppet 监控速查手册:问题 / 原因→解决方案_软件工程_京东云应用研发部_InfoQ精选文章