红帽白皮书新鲜出炉!点击获取,让你的云战略更胜一筹! 了解详情
写点什么

又拍云 CDN 全网实时、精准化监控技术实践

  • 2016-01-10
  • 本文字数:1244 字

    阅读完需:约 4 分钟

又拍云如何在国内业界率先做到 CDN 全网实时、精准化监控?就这个问题,又拍云 CTO 黄慧攀于 8 月 25 日在“云头条”做了专题分享。内容涉及监控在云服务中的重要性,以及实现监控性能提升的技术实战方法。

首先,从整体上讲,又拍云的云服务有三块:

  • CDN
  • 云存储
  • 云处理

每个云服务的监控侧重点各有不同。

CDN:监控性能和可用性

又拍云的 CDN 用到了听云(基调)和安全宝、DnsPod 等外围的服务监控。zabbix 是最基础的服务器监控,它的不足之处在于:

  1. 实时性差;
  2. 无法方便的对业务进行监控(需要做大量对接工作)。

Agent 是 又拍云自己写的 shell 脚本,负责从服务器自身内部发现问题,并告警。如:本机的各个业务系统是否在正确运行,和当前服务器连接关键机房的网络质量等。缺点在于如果自身网络出现问题就无法告警,但能根据自己的业务特点,做多种健康检查,比较灵活。

数据中心:自主研发狗眼监控系统

注:标黑色线的,表示该项监控的主要用途

数据中心有两块大业务:

  • 云存储
  • 云处理

去年又拍云用 zabbix 来负责服务器硬件资源的监控,但无法满足需求,所以我们又拍云自己开发了一个系统,命名为“狗眼系统”,来专门做服务监控。它可以监控到又拍云某项具体服务:

  • 吞吐量
  • 平均处理耗时

更重要的是,它能做到秒级告警,又拍云数据中心每个子业务都做了狗眼的接入,以保障整个平台的稳定性。

举个例子,某个客户上传一个图片,并要求做缩略图存储。这会牵扯到几个业务系统:

  • API;
  • 云处理;
  • 云存储。

如果上传失败,或者上传很慢,以前又拍云通过 zabbix 观察哪台服务器压力大,非常麻烦,在集群服务的情况下单台服务器根本不反映集群的服务状态。

而在开发出狗眼监控后,又拍云能准确的判断到哪个子业务的负载有问题,影响到了整个业务流程,比如:云处理环节出问题了,影响到整个文件上传速度。 狗眼会根据历史情况,判定当前这秒的数值是否偏差,异常,并做出告警。又拍云的工作人员马上检查云处理这个服务集群的状况,了解是否因为当前的处理量过大或者网络读写等情况导致。

狗眼系统从 2013 年 12 月开始开发,耗时 1 周。用了将近半年时间连接 又拍云服务。“狗眼”有 20w 个 UDP 包的处理能力,有了狗眼系统,又拍云从原来的盲人摸象,进化为具有敏锐的“嗅觉”。能快速准确的定位为问题。

日常监控:实时日志分析系统

另外,又拍云还有实时日志分析系统。有些具体的错误信息需要在日志里面体现出来。日志分析系统无法做全量,一般 200 OK 正常的请求日志没必要记录和处理的,又拍云只处理 code & 400 的记录。

有这么多个渠道给出告警信息,还得避免狼来了的情况发生,对告警进行去重、筛选非常重要,黄慧攀将监控分了主要的 2 种角色,互相配合一起来做告警,方便维护。

这些监控最有用的是历史数据,在上面可以分析出异常,如又拍云针对全国机房的链路情况,每 10 分钟采一次样,采集到的数据加以处理总结出一些规律,如有些机房在晚高峰的时候会总出口拥堵而导致性能下降。更细致的观察需要根据节点的服务日志记录分析,如平均下载速度,下载速度大于 10mbps 的比例,回源慢的影响比例等。

2016-01-10 01:031046

评论

发布
暂无评论
发现更多内容

架构师训练营第一周学习总结

不谈

架构师训练营 第一周 学习总结

一雄

学习 极客大学架构师训练营 第一周

ARTS-week3

王钰淇

ARTS 打卡计划

食堂就餐卡系统设计

wyzwlj

极客大学架构师训练营

架构训练营-第一课总结

C02-商业模式与架构设计

buoge

食堂就餐卡系统设计

stardust20

食堂就餐卡系统设计

极客李

作业1 餐卡系统设计

Geek_2e7dd7

学习总结

Geek_2e7dd7

食堂就餐卡系统架构设计

Cloud.

随遇而安的适配器模式 | Spring 中的适配器

大头星

Java spring 面试 设计模式 Java 25 周年

架构师训练营第一周总结

Cloud.

极客大学架构师训练营

如何成为一个架构师

_MISSYOURLOVE

极客大学架构师训练营

UML练习1-食堂就餐卡系统设计

一剑

作业一:食堂就餐卡系统设计

Geek_36d3e5

虽则悲欢不尽相同

zhoo299

随笔

平台化服务的基石:隔离与交互策略模型

孤岛旭日

企业架构 用户权限 权限系统

第一周总结

芒夏

极客大学架构师训练营

架构设计文档学习总结

jason

重新定义失败

史方远

个人成长 随笔杂谈

第三季已经起航,送你一份活动手册吧

赵新龙

写作 社群

ReentrantLock 公平锁和非公平锁源码分析

张sir

Java 多线程 Java 25 周年

Week 01 命题作业

卧石漾溪

极客大学架构师训练营

架构师思维

极客大学架构师训练营

架构师训练营-第一课学习总结

King

学习 感悟 极客大学架构师训练营

食堂就餐卡系统设计

赵龙

架构师0期 | 架构师是怎样炼成的?

刁架构

极客大学架构师训练营

程序员如何破除「迷茫」

顿晓

学习 程序员 架构 迷茫

架构训练营-食堂就餐卡管理系统

第01周命题作业-食堂就餐卡系统架构设计

Jaye

极客大学架构师训练营

又拍云 CDN 全网实时、精准化监控技术实践_音视频(后端)_UPYUN_InfoQ精选文章