写点什么

站点监控 | 网站健康检查的外科医生

  • 2019-09-11
  • 本文字数:2344 字

    阅读完需:约 8 分钟

站点监控 | 网站健康检查的外科医生

当今的互联网上,有成千上万个网站,提供着各种各样的服务,有电商、搜索、新闻、娱乐、在线教育等等,用户根据所需进行浏览和访问。网站做为网上服务的载体,稳定性至关重要,如果网站异常了,势必会影响诸多用户,给网站造成具大的流量损失。因此对于网站的维护者而言,第一时间发现网站的异常至关重要。


站点监控可实现对目标站点作实时的监控,如同外科医生一样,可对网站进行全方位的检查,在网站异常时及时通知用户进行止损操作。接下来将分上下两篇介绍站点监控,本文主要介绍站点的组成、站点的工作原理以及站点监控的功能需求。

首先我们来探讨一个概念 网站是什么?

A website is a collection of related web pages, including multimedia content, typically identified with a common domain name, and published on at least one web server.

A website may be accessible via a public Internet Protocol (IP) network, such as the Internet, or a private local area network (LAN), by referencing a uniform resource locator (URL) that identifies the site.


以上是维基百科对网站的定义:网站是一个网页资源的集合,这些资源部署在 Web 服务器上并通过域名进行标识,即一个站点包括网页、域名、Web Server(服务器)。


从狭义上来讲,一个对外提供服务的 Web 应用程序即可称为网站,我们可以通过统一资源定位符 URL 来访问该应用程序提供的静态或动态网页资源。


而从广义上讲,各种对外提供文件下载、流媒体传输、邮件服务等应用服务器,以各种形式为用户提供的多样网络服务,均可称之为站点。

那么,网站异常的场景是什么?

网站由域名、网页、Web Server(Web 服务器)组成,网站正常与否,也就是域名是否可以正常解析,Web 服务器是否可以正常连通以及是否可以正常工作,网页是否可以返回预期的内容。


图 1 以用户访问百度服务的请求为例,描述了用户的请求在到达这个百度服务地址之前,依次会经过用户所在地域的网络运营商接入设备→运营商骨干网链路→百度 IDC 所在地域的运营商接入设备→百度站点服务(具体细节可以参看文章《百度网络监控实战:猎鹰一战成名》)。



图 1 用户访问百度服务的请求示例


从物理链路来讲,在用户请求到达目标网站之前,任何一个服务或链路出现故障,都有可能会导致用户访问目标服务的体验受到影响(如延时变大或者访问失败),因此,站点监控中我们需要关注 DNS 解析,运营商网络,站点服务三个环节。网站异常的场景如下:

1 场景一

  • 域名被劫持了!进入了其他网站界面?


2010 年,百度 www.baidu.com 的域名遭到不法分子恶意篡改,导致全球多处用户不能访问百度网站,故障持续数小时,给用户带来很大的困扰,也给百度造成了巨大的流量损失。

2 场景二

  • 在北京的用户访问正常,广州的用户却无法访问?


用户到 Web 服务器间链路连接关系复杂,一次简单的请求涉及网络设备或链路不计可数,任何一处的设备或链路故障都有可能影响到某一区域的用户请求。

3 场景三

  • 网站响应速度慢,网站访问超时?


假如您是某购物网站的维护者,网站的访问量意味着订单量和收入。若某一时刻网站访问量增大,网站服务器负载已无法承接流量,出现大量的访问超时,严重影响用户体验,作为网站维护者,您如何第一时间感知以避免损失呢?

4 场景四

  • 网站中页面可以打开,但页面内容展示异常?


通常此种场景为网站内部某些处理逻辑或数据存在异常,单纯关注页面是否可访问无法发现这种错误,需要对网站页面或接口的返回内容进行监控。

5 场景五

  • 视频网站打开正常,里面的视频都播放不了?


除了常见的 HTTP 页面/接口请求,文件下载、流媒体传输、邮件服务或针对客户端定制的 TCP、UDP 接口异常,均会对用户造成影响。

网站异常对用户的影响如此之大 我们该如何应对?

通过对网站异常场景的分析,我们需要一款站点监控产品,通过模拟真实用户访问情况,探测站点的 DNS 解析、分地域/运营商连通性、站点性能等问题。站点监控需要具备如下几方面能力:

1 支持域名解析监控

通过对域名进行 DNS 解析,判断是否发生 DNS 劫持,避免 DNS 问题导致网站无法正常提供服务。

2 支持不同地域/运营商/网络制式探测

通过部署在全国的站点监控探测点,模拟不同终端用户的访问行为,获得全国各地域(省份/城市)、运营商(电信/联通/移动/教育网/…)、网络制式(固网/2G/3G/4G)到目标地址的访问数据,从而知晓各地域、各运营商的网络质量,供网站维护者针对性的进行网络接入优化。

3 支持采集多种指标数据

网站性能是体现网站体验的重要因素,我们通过获取目标站点的 DNS 域名解析时间、建连时间、下载时间、响应时间等指标来分析站点服务的性能瓶颈,优化站点的服务质量。

4 支持网站返回内容校验

通常,一个站点提供多种服务,对外呈现多种不同的数据和页面。我们需要模拟用户的请求,并校验返回的结果是否符合预期,来监控站点服务是否正常。为了模拟用户请求,针对 HTTP 请求需要支持 POST/GET 方法、多种请求参数、User-Agent 等 Header 参数、Cookie 等参数配置;为了校验返回结果,需要提供 HTTP Code 判断、返回内容匹配校验等支持。

5 支持不同协议类型

一个站点服务可支持多种协议的访问,我们需要从应用层、传输层对目标站点进行探测:应用层需要支持 HTTP/HTTPS/FTP/SMTP/DNS 等,传输层需要支持 TCP/UDP。

总结

站点监控是针对站点进行监控的产品,本文从总体上介绍了站点的工作原理以及站点监控的功能需求。如何实现这些功能,以满足站点的监控需求,我们将在下一篇文章中具体介绍。


作者介绍:


梁飞,百度高级研发工程师,负责百度云监控(BCM)系统的研发和可用性建设相关工作,在云监控、系统可用性方面有广泛的实践经验。


本文转载自公众号 AIOps 智能运维(ID:AI_Ops)。


原文链接:


https://mp.weixin.qq.com/s/R83izBHzqkA_OD1k1-aQmA


2019-09-11 23:431615

评论

发布
暂无评论
发现更多内容

探秘能源行业AI密码:云鼎科技用大模型实现了″四个转变″

Alter

在京东做技术是种什么体验?| 13位零售人告诉你答案

京东零售技术

《汽车电机MES系统实战指南:打造柔性化智能产线的4大核心模块与3项关键技术突破》​

万界星空科技

mes 制造业工厂 电机MES 汽车电机 汽车电机mes

【2月13日 - 3月14日】TiCDC 新架构试用通道正式开启,全新升级,抢先体验,多重参与奖励等你拿!

TiDB 社区干货传送门

用 tcpdump 分析 Java 客户端的 prepare 行为

TiDB 社区干货传送门

性能调优 故障排查/诊断

重塑家庭观影标准,海信激光电视探索X1斩获艾普兰奖

新消费日报

重识 APO:DeepSeek 掀起可观性领域变革 | 龙蜥生态

OpenAnolis小助手

AI 系统运维 apo 龙蜥生态 DeepSeek

高性能存储SIG月度动态:erofs快照器合入containerd社区,ANCK支持virtio-blk直通

OpenAnolis小助手

操作系统 高性能存储 龙蜥社区 龙蜥社区SIG EROFS

龙蜥社区第六届理事大会成功举行,共话技术创新与生态合作

OpenAnolis小助手

开源 龙蜥社区 OpenAnolis 龙蜥社区理事大会

荣耀时刻!第二届开放原子大赛-OS Copilot 学习赛获奖名单新鲜出炉

OpenAnolis小助手

开源 操作系统 龙蜥社区 龙蜥赛事

TiDB × AI :DeepSeek 时代你需要什么样的数据基座

PingCAP

AI TiDB DeepSeek

《Operating System Concepts》阅读笔记:p449-p459

codists

操作系统

【Redis技术进阶之路】「原理分析系列开篇」探索事件驱动枚型与数据特久化原理实现(数据持久化的实现AOF)

码界西柚

数据库 redis redis持久化 aof Redis底层原理

深入探究小红书笔记详情页面数据采集接口​

tbapi

小红书笔记详情接口 小红书API

电子签借贷真实吗?315报道引发的行业地震!电子签到底冤不冤?

易成研发中心

CST软件如何用天线远场计算Group delay延时

思茂信息

cst CST软件 CST Studio Suite

高性能网络SIG双月动态:加速 SMC eBPF 透明替换特性上游化进程,并与上游深度研讨新特性

OpenAnolis小助手

操作系统 龙蜥社区 smc 龙蜥SIG月报

Karmada v1.13 版本发布!新增应用优先级调度能力

华为云原生团队

云计算 容器 云原生

今日最新消息!黑龙江网络安全等级保护备案新规定,速看!

黑龙江陆陆信息测评部

“官方网站+公开课程”双赋能,鸿蒙游戏开发者服务焕新升级

最新动态

下一代产品的“双向奔赴”  鸿蒙版百度网盘发布多项领先AI能力

极客天地

数字化转型投入大、见效慢?中小企业该如何应对?

天津汇柏科技有限公司

数字化转型

保姆级离线 TiDB V8+ 解释

TiDB 社区干货传送门

8.x 实践

这些搜索技巧你不会?

Immerse

Karmada v1.13 版本发布!新增应用优先级调度能力

华为云开发者联盟

容器 云原生 集群 Karmada

TiCDC 新架构 v9.0.0 使用实践

TiDB 社区干货传送门

TiCDC新架构

龙蜥 2024 年度“最佳合作伙伴”揭晓!申威、AMD 等多家新晋贡献厂商实力登榜

OpenAnolis小助手

操作系统 龙蜥社区 OpenAnolis 龙蜥社区年度优秀贡献者

多智能体强化学习的算力调度创新,让每一份算力都创造广告价值 | 京东零售技术实践

京东零售技术

SysOM 可观测体系建设(一):万字长文解读低开销、高精度性能剖析工具livetrace

OpenAnolis小助手

AI 可观测性 SysOM 龙蜥系统运维联盟 livetrace

使用DataWorks Notebook实现智能图片标注,给你的图片加个“注释”

阿里云大数据AI技术

大数据 数据分析 ETL 多模态 Dataworks

【宣法·3.15特辑】电子签怎么跟套路贷混为一谈了?

易成研发中心

电子签名

站点监控 | 网站健康检查的外科医生_文化 & 方法_梁飞_InfoQ精选文章