2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

微服务架构下的监控系统设计(一)——指标数据的采集展示

  • 2019-11-12
  • 本文字数:1867 字

    阅读完需:约 6 分钟

微服务架构下的监控系统设计(一)——指标数据的采集展示

微服务是一种架构风格,一个大型复杂软件应用通常由多个微服务组成。系统中的各个微服务可被独立部署,各个微服务之间是松耦合的。每个微服务仅关注于完成一件任务并很好地完成该任务。


微服务之前很多单体应用,其监控复杂度较低,场景也比较单一。微服务下,由于业务逻辑散布在众多进程中(很多大型业务,一个业务流程涉及的服务有几十个),一旦业务出现问题,追查其源头就好比大海捞针,这个时候就需要完善的监控体系。


一个完善的监控体系,其构建周期比较漫长,而且随着业务场景的变化,自身也是需要不断迭代优化的。本文仅从几个监控维度以及原子化场景谈谈如何建立统一的监控数据收集、展示系统,希望能够启发大家继续深入地思考监控体系的建设。

微服务下的几个监控维度

微服务监控与传统应用的监控相比,最明显的改变就是视角的改变,我们把监控从机器视角转换成以服务为中心的视角,在微服务的视角下,监控可以从数据维度、资源维度和代码维度进行分层,如下图:


数据维度

当前 WEB 化服务是主流,每一个 WEB 服务都有一个入口,不管是 APP 还是 WEB 网页,入口负责跟用户交互,并将用户的信息发给后台,后台一般都会有接入 LB 或者 Gateway,负责负载均衡并将数据转发给具体的应用处理,最后由应用处理之后写入数据库。

资源维度

现在很多服务部署在云端,涉及虚拟化技术,虚拟主机运行在物理服务器上,虚拟主机之间通过虚拟网络相互连接。在资源层面的监控,是不可缺少的一环,我们不但需要采集虚拟主机的性能指标,同时还需要知道运行虚拟主机的服务器上的 CPU、内存、磁盘 IO 等数据,以及连接虚拟主机之间的虚拟网络的带宽负载等。

代码维度

APM,也就是应用性能分析,代码侧的监控采集,是随着微服务的兴起而出现的。在微服务场景下,一个业务流程横跨几十个服务的场景,只有传统的监控数据,很难定位到问题的根源。


我们可以针对代码的技术栈,开发出特定的采集框架,在性能损耗可以接受的范围之内,采集函数之间的调用关系,服务之间的调用拓扑,并测量函数或者服务的响应时间,才能有针对性地优化性能或者提前预判故障。

关键监控指标的场景描述

微服务监控最大的特点,用一句话概括:就是服务特别多,服务间的调用也非常复杂。当系统出现问题时,想要在上百个相关的、依赖错综复杂的服务系统之中快速定位到出错的系统,需要依靠关键的监控指标。我们在上述的三个维度之上,分析了每个维度下每个层级可能会产生的告警情况,总结了 URL 监控、主机监控、产品监控等八个原子化监控场景。



URL 监控:无论是 APP 还是 WEB,本质上都是通过 URL 发起后台调用,可以通过 MOCK 调用 API 获取响应时间、响应状态码等指标,展示监测业务的整体健康状况。


主机监控:通过安装代理采集主机上基本的监控信息如 CPU、内存、IO 等数据,同时用户可以通过配置文件打开其它开源应用如 Tomcat、Nginx 等数据采集开关。


产品监控:公有云将主机、网络、存储以及一些中间件以产品的形式提供给用户使用,产品服务后台上报各个产品相关指标数据,用来监控各个产品资源的健康状况。


组件监控:一些开源组件,比如 Tomcat、Nginx、Netty 等监控数据的采集,可以通过主机上的代理加载相应组件的监控采集程序。


自定义监控:服务实例收集业务相关数据,定时调用 API 接口上报数据,支持多个服务实例同时上报一个监控项,并且支持多维度查询告警。


资源监控:用户以资源为维度上报自定义数据,每个资源都有相同的几个监控项,各个资源的监控项之间相互独立。


APM:根据各语言栈的不同,分别实现函数调用关系、服务之间调用拓扑的展示。根据各个语言的不同,有的需要入侵代码,以 SDK 嵌入的形式收集数据,有的则与代码解耦,通过元编程重载一些方法来实现数据采集。


事件监控:针对公有云产品、业务逻辑中的不连续事件,比如云盘的不可用事件、SSD 硬盘的 Reset 事件等,提供统一的存储、分析、展示。


有了以上原子化场景的数据收集,我们就可以通过 UI 统一展示监控数据,可以按照前文描述的三个维度,以用户体验为核心,设计图形化页面。图形化一般是以时间序列为横轴,展示指标随时间变化,针对一些统计指标,也可以通过饼图、柱状图等展示分析、对比结果。


本文主要阐述了监控体系中数据的采集、展示。至于数据的存储及告警流程,有兴趣的同学可以继续关注后续监控相关文章。


作者介绍;


董磊,UCloud 技术专家。十年 IT 行业开发经验,目前负责 UCloud 混合云、监控产品的设计开发,持续关注微服务架构、监控、DevOps 等领域。


本文转载自公众号 UCloud 技术(ID:ucloud_tech)。


原文链接:


https://mp.weixin.qq.com/s/RjvzQQSa-wzOi8Tr6FnSPQ


2019-11-12 10:333692

评论

发布
暂无评论
发现更多内容

北京冬奥有哪些AI“黑科技”?

澳鹏Appen

人工智能 自动驾驶 计算机视觉 nlp 黑科技

CTF中PHP相关题目考点总结(二)

H

网络安全 CTF

Java线程池必知必会

CRMEB

musl堆利用技巧,你知道多少

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 安全漏洞

如何构建一个流量无损的在线应用架构 | 专题中篇

阿里巴巴中间件

阿里云 云原生 中间件

优秀程序员的30种思维--分析总结篇(13/100)

hackstoic

架构思维

知名信息安全厂商渔翁信息加入龙蜥社区,共建开源生态

OpenAnolis小助手

Linux 开源 信息安全

Kubernetes应用,如何选择适合你的Kubernetes应用发布模式

阿里云云效

阿里云 Kubernetes 云原生 CI/CD 发布模式

极光笔记 | 极光推送业务无中断迁移上云实践

极光GPTBots-极光推送

企业上云 后端技术 上云

白盒绕过、黑盒绕过——绕过waf(一)

喀拉峻

网络安全

MASA Framework - DDD设计(1)

MASA技术团队

C# .net 微软 框架 Framework

数据分析实际案例之:pandas在餐厅评分数据中的使用

程序那些事

Python 数据分析 pandas 程序那些事 2月月更

DevOps进阶(四):Jenkins 实战之构建定时项目与远程触发器

No Silver Bullet

DevOps jenkins 定时器 2月月更 触发器

Web_Components 系列(九)—— Shadow Host 的 CSS 选择器

编程三昧

前端 组件化 2月月更 WebComponent

手把手带你基于嵌入式Linux移植samba服务

华为云开发者联盟

Linux 嵌入式 Samba UNIX系统 SMB协议

DG-IoT: 开源项目职业教育助力解决过度补课难题

dgiot

物联网 2月月更 2月日更 dgiot dgiot物联网

G7完成2亿美元融资

极客天地

声网Agora Lipsync 技术揭秘:通过实时语音驱动人像模拟真人说话

声网

人工智能 音视频

哪个低代码平台上手度对小白更友好?专业测评来了!

优秀

低代码 应用开发

使用 Flink Hudi 构建流式数据湖平台

Apache Flink

大数据 flink 编程 数据湖 实时计算

如何构建一个流量无损的在线应用架构 | 专题尾篇

阿里巴巴中间件

阿里云 云原生 中间件 EDAS

教你用Elastic Search:运行第一条Hello World搜索命令 原创

华为云开发者联盟

数据库 全文检索 索引 Elastic Search 分布式实时搜索引擎

新年新知 | 2022必读的5篇行业趋势(内附下载)

LigaAI

AI 创新 行业趋势 新能源

产品经理沟通技巧

史前靓仔

职场 产品经理 沟通技巧

云原生多云应用利器--Karmada 总览篇

Daocloud 道客

云原生 多云管理 Karmada

「重磅消息」OpenMLDB 官方网站 正式上线!

第四范式开发者社区

机器学习 大数据 OpenMLDB

英特尔CEO:开启超级摩尔定律的时代,推动前沿进展

科技新消息

低代码如何解锁制造业数字生态系统?

TOBESOFT特碧软件

低代码 数字化 TOBESOFT

消除if-else之为Enum添加行为实现策略模式

topsion

Java clean code

网络安全kali渗透学习 web渗透入门 WireShark抓包及常用协议分析

学神来啦

一周信创舆情观察(2.7~2.13)

统小信uos

微服务架构下的监控系统设计(一)——指标数据的采集展示_文化 & 方法_董磊_InfoQ精选文章