AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

又拍云 CDN 全网实时、精准化监控技术实践

  • 2016-01-10
  • 本文字数:1244 字

    阅读完需:约 4 分钟

又拍云如何在国内业界率先做到 CDN 全网实时、精准化监控?就这个问题,又拍云 CTO 黄慧攀于 8 月 25 日在“云头条”做了专题分享。内容涉及监控在云服务中的重要性,以及实现监控性能提升的技术实战方法。

首先,从整体上讲,又拍云的云服务有三块:

  • CDN
  • 云存储
  • 云处理

每个云服务的监控侧重点各有不同。

CDN:监控性能和可用性

又拍云的 CDN 用到了听云(基调)和安全宝、DnsPod 等外围的服务监控。zabbix 是最基础的服务器监控,它的不足之处在于:

  1. 实时性差;
  2. 无法方便的对业务进行监控(需要做大量对接工作)。

Agent 是 又拍云自己写的 shell 脚本,负责从服务器自身内部发现问题,并告警。如:本机的各个业务系统是否在正确运行,和当前服务器连接关键机房的网络质量等。缺点在于如果自身网络出现问题就无法告警,但能根据自己的业务特点,做多种健康检查,比较灵活。

数据中心:自主研发狗眼监控系统

注:标黑色线的,表示该项监控的主要用途

数据中心有两块大业务:

  • 云存储
  • 云处理

去年又拍云用 zabbix 来负责服务器硬件资源的监控,但无法满足需求,所以我们又拍云自己开发了一个系统,命名为“狗眼系统”,来专门做服务监控。它可以监控到又拍云某项具体服务:

  • 吞吐量
  • 平均处理耗时

更重要的是,它能做到秒级告警,又拍云数据中心每个子业务都做了狗眼的接入,以保障整个平台的稳定性。

举个例子,某个客户上传一个图片,并要求做缩略图存储。这会牵扯到几个业务系统:

  • API;
  • 云处理;
  • 云存储。

如果上传失败,或者上传很慢,以前又拍云通过 zabbix 观察哪台服务器压力大,非常麻烦,在集群服务的情况下单台服务器根本不反映集群的服务状态。

而在开发出狗眼监控后,又拍云能准确的判断到哪个子业务的负载有问题,影响到了整个业务流程,比如:云处理环节出问题了,影响到整个文件上传速度。 狗眼会根据历史情况,判定当前这秒的数值是否偏差,异常,并做出告警。又拍云的工作人员马上检查云处理这个服务集群的状况,了解是否因为当前的处理量过大或者网络读写等情况导致。

狗眼系统从 2013 年 12 月开始开发,耗时 1 周。用了将近半年时间连接 又拍云服务。“狗眼”有 20w 个 UDP 包的处理能力,有了狗眼系统,又拍云从原来的盲人摸象,进化为具有敏锐的“嗅觉”。能快速准确的定位为问题。

日常监控:实时日志分析系统

另外,又拍云还有实时日志分析系统。有些具体的错误信息需要在日志里面体现出来。日志分析系统无法做全量,一般 200 OK 正常的请求日志没必要记录和处理的,又拍云只处理 code & 400 的记录。

有这么多个渠道给出告警信息,还得避免狼来了的情况发生,对告警进行去重、筛选非常重要,黄慧攀将监控分了主要的 2 种角色,互相配合一起来做告警,方便维护。

这些监控最有用的是历史数据,在上面可以分析出异常,如又拍云针对全国机房的链路情况,每 10 分钟采一次样,采集到的数据加以处理总结出一些规律,如有些机房在晚高峰的时候会总出口拥堵而导致性能下降。更细致的观察需要根据节点的服务日志记录分析,如平均下载速度,下载速度大于 10mbps 的比例,回源慢的影响比例等。

2016-01-10 01:031488

评论

发布
暂无评论
发现更多内容

3D建筑建模 Vectorworks2024破解安装教程【Mac&win】

Rose

嘉为蓝鲸WeOps:集成主流云服务商,自动化证书申请 + 一键部署全流程提速

嘉为蓝鲸

SSL证书 #WeOps 一体化运维

视觉效果和图像处理 Boris FX Silhouette 2025新功能详解

Rose

BCS 2025|百度副总裁陈洋:智能体在安全领域的应用实践

百度安全

精彩抢先看 | 博睿数据将受邀出席GOPS全球运维大会2025北京站!

博睿数据

从OCR到Document Parsing,AI时代的非结构化数据处理发生了什么改变?

合合技术团队

人工智能 算法 #大数据

选择GPU云服务器供应商的注意事项

Ogcloud

gpu 云服务商 GPU云服务器 GPU云服务器供应商

mac吉他原生插件 Ample Sound Ample Guitar M

Rose

OpsPilot 智能体:打破工具孤岛、降低人为失误,优化运维流程

嘉为蓝鲸

智能运维 #WeOps OpsPilot

警惕!这3个AI测试用例陷阱,让80%的团队白忙一场...

测试人

人工智能

KOL技术圈 | 下一代智能可观测平台长什么样?来看Bonree ONE的极致演绎!

博睿数据

【重磅】JimuReport 积木报表 v2.0 版本发布,免费可视化报表

JEECG低代码

数据可视化 报表 积木报表 报表工具 积木BI

深入研究:shopee商品详情API接口Python攻略

tbapi

shopee商品详情接口 shopee数据采集 shopee数据接口

AI智能体终结运维"狼来了"

权说安全

AI 安全运维

构建精细化DevOps权限体系:从数据级管控到全局授权

嘉为蓝鲸

DevOps 智能运维

DeepChat for mac您的桌面AI伙伴

Rose

专业的科学和工程分析软件 WaveMetrics Igor Pro 9 Mac

Rose

CST的热仿真THs稳态求解器--针式散热片

思茂信息

cst CST软件 CST Studio Suite

BricsCAD 23 for Mac(CAD建模软件)v23.2.07中/英文永久激活版

Rose

企业带宽租赁的优势与应用场景有哪些?

Ogcloud

带宽租用 带宽租赁 大带宽 机房大带宽 大带宽租用

DVD光盘刻录 Toast Titanium 17 Mac中文注册版

Rose

cinema 4d 2024-c4d中文版激活教程【Mac/win】

Rose

嘉为蓝鲸可观测系列产品入选Gartner《中国智能IT监控与日志分析工具市场指南》

嘉为蓝鲸

Gartner 可观测

GAITC 2025:曙光AI基础设施全栈亮相

科技热闻

QT软件外包开发流程

北京木奇移动技术有限公司

软件外包公司 QT软件开发 QT外包公司

当AI遇上供应链 第七在线助力精准决策

第七在线

为什么有的企业上了ERP还要上MES?

积木链小链

数字化转型 ERP 智能制造 mes

矢量绘图设计CDR 2025 永久许可证【Mac/win】

Rose

支持 4K/HDR/杜比视界!nPlayer for Mac

Rose

一场 6 点半开启的慢跑,是我们对八周年最真实的记录

TDengine

数据库 tdengine 时序数据库

TK海外抢单网站源码/前后端分离,前端uniapp,后端php

网站,小程序,APP开发定制

又拍云 CDN 全网实时、精准化监控技术实践_音视频(后端)_UPYUN_InfoQ精选文章