点击报名《大模型时代的 AI 基础设施——百度AI大底座》系列云智公开课 了解详情
写点什么

微服务高效运维,从性能保障谈起

  • 2020-03-30
  • 本文字数:1879 字

    阅读完需:约 6 分钟

微服务高效运维,从性能保障谈起

微服务架构面临的挑战

1.微服务核心价值:3S

2.微服务架构带来的运维挑战

1.单服务流量激增时扩容


2.调用链条变长,调用关系更加复杂


3.微服务拆分导致故障点增多


  • 单服务变更性能影响如何评估?

  • 性能瓶颈在各微服务间漂移,如何做好性能测试?

  • 应对突发流量需求,扩容能否解决问题,如何扩容?

  • 服务实例数量众多,如何收集信息,快速定位性能问题?

华为云微服务性能保障解决方案设计

华为云微服务性能保障解决方案介绍


1.什么是 ServiceMesh

  • 一种基础设施层,服务间通信通过 Service mesh 转发

  • 一种 TCP/IP 之上的网络模型

  • 一个轻量的网络代理,与业务部署在一起

  • 可靠的传输复杂网络拓扑中的服务请求,将服务变为现代的云原生服务


2.华为 ServiceMesh 整体架构

3.管理面服务治理能力


可人工介入,未运行时的 mesher 和侵入式框架提供配置下发


  • 注册中心

  • 下发配置

  • 监控服务

  • 调用引擎

4.数据面支持侵入式与非侵入式 Mesher


即侵入式框架与非侵入式 mesher


  • 注册发现

  • 执行路由策略

  • 负载均衡

  • 透明 TLS 传输

  • 生成监控数据

5.微服务架构的关键性能瓶颈点

  • 1.Mesher 的性能损耗(1ms)

  • 2.单服务的接口性能

  • 3.全链路调用性能

  • 4.服务伸缩能力


6.关于性能我们需要做哪些


  • 开展分层验证,掌握服务的能力基线

  • 1.单服务接口测试

  • 验证单服务的各个接口能力基线以及组合接口的能力基线

  • 2.全链路测试

  • 验证全链路场景以及多链路组合场景的性能,优化链路中性能不足的服务

  • 3.伸缩能力验证

  • 验证单服务的水平扩容能力,验证既定模型下的多链路组合场景的资源模型

  • 性能测试服务化,提升验证效率



  • 关键设计 1:模块化管理,事务灵活组合与复用

  • 抽象性能测试所需的元素并模块化,实现灵活复用和配置修改



  • 关键设计 2:可扩展的高性能执行集群


性能测试实施策略

1.关键度量指标

  • 制定测试目标,要求测试指标结果达到用户预期目标。

  • 指标数据一般包括并发用户数、Response Time、TPS、通过率等。

  • 系统的吞吐量要和响应时间关联(SLA),如至少 90%以上的请求在正常合理响应时间内。


2.全链路调优测试策略

性能是一个逐步提升的过程,测试过程中需要找到扩容的模型,从不足 50 的 TPS 提升至万级


3.测试报告分析解读

如何从测试工具侧快速分析被测对象可能存在的问题


  • 存在部分响应超时:

  • a)服务器繁忙,如某个服务节点 CPU 利用率高

  • b)网络 IO 超过 VM/EIP 带宽

  • c)等待后端微服务、数据库的超时时间设置过长

  • 运行一段时间后全部响应超时或者检查点校验不通过:

  • a)大压力导致系统中某个微服务奔溃

  • b)后端数据库无响应

  • TPS 未随着并发数增长而上升:

  • a)系统性能到达瓶颈,持续并发加压过程中响应时延增加(可观察响应区间统计)

  • b)可通过进一步加压是否会出现非正常响应验证

  • TP90 响应时延较短,TP99 时延高:

  • a)系统性能接近瓶颈

  • b)可通过进一步加压是否会出现非正常响应验证




4.一些常见的性能优化手段

  • 1.扩容,链路中的某一应用可能出现 cpu 使用率较高或者连接池资源不够用(rpc、jdbc、redis 连接池等)但本身对于拿到连接的请求处理又很快,这一类需要横向扩展资源。

  • 2.应用逻辑优化,比如存在慢 sql、 逻辑的不合理如调用 db 或者 redis 次数过多、没有做读写分离造成写库压力过大。

  • 3.超时时间的合理设置,对于应用之间的 rpc 调用或者应用与其他基础组件之间的调用,均需要设置合理的超时时间,否则过长的等待将造成整个链路的故障。

  • 4.缓存的应用,请求尽可能从前端返回,而不是每一个都要让后端应用处理后再返回,减轻后端应用及数据库压力,提高系统吞吐能力。

  • 5.限流,对于超出承载能力的 QPS 或并发,可以进行拦截并直接返回提示页面。

  • 6.降级,对于非核心链路上的应用,允许故障关闭而不影响核心链路

  • 7.扩容和优化也是有限度的,在评估容量内,保障核心交易链路正常是重中之重,对于非核心功能模块考虑降级场景

5.面对复杂网络架构如何做性能测试

一个典型的互联网平台:突发事件高流量突发,如瞬间由百级用户增长到万级



对于网络架构复杂的应用,可以拆分压力的入口点,进行分段验证,屏蔽对应网元带来的性能影响,如分别从最外端的①CDN 入口、②中间的 ELB、③业务层,分别做测试,验证复杂网络架构情况下,各网元的瓶颈和影响

6.应用内部的性能瓶颈如何提升定位效率?

1.资源、应用、业务一站式监控与分析


立体运维全景图



2.应用拓扑与异常展示、故障下钻


  • 应用发现与依赖关系:非侵入采集应用 KPI 数据,并通过服务间接口自动生成依赖关系,展现应用拓扑。

  • 应用 KPI 汇聚:微服务实例汇聚到应用(数字表示 XX 个实例),KPI 数据自动汇聚到应用。

  • 调用链跟踪:下钻获取应用调用链,定位到具体出错方法



本文转载自 华为云产品与解决方案 公众号。


原文链接:https://mp.weixin.qq.com/s/uoSkaHDSFb3tTYt0sbBp0Q


2020-03-30 15:02709

评论

发布
暂无评论
发现更多内容

真happy软件开发|真happy系统APP开发

2022秋招vue面试题+答案

buchila11

Vue Vue 3

DDD笔记

topsion

《持之以恒的从事运动》二

Changing Lin

不愧是阿里内部“SpringCloudAlibaba学习笔记”竟然在GitHub霸榜月余

Java 编程 架构 微服务

Serverless 崛起背后的五大挑战

Serverless Devs

Serverless

从结构体、内存池初始化到申请释放,详细解读鸿蒙轻内核的动态内存管理

华为云开发者联盟

鸿蒙

并发王者课-铂金7:整齐划一-CountDownLatch如何协调多线程的开始和结束

MetaThoughts

Java 多线程 并发

阿里P8耗时半年总结的Java核心面试知识,助我轻松拿下蚂蚁offer

Java 程序员 面试 java编程 java技术宅

Rust从0到1-Cargo-安装来自Crates.io的程序

rust cargo install

系统故障防不胜防?不存在的,让大佬来给你上一课!

TakinTalks稳定性社区

高可用 测试 全链路压测 测试工具 生产环境全链路压测

今天,「浪潮云说」直播间开讲啦!

浪潮云

云计算

论文解读丨文档结构分析

华为云开发者联盟

模型 文档 文档结构分析 分割 文档结构

聊聊数据仓库中维度表设计的二三事

云祁

数据仓库 维度建模 7月日更

并发王者课-铂金8:峡谷幽会-看CyclicBarrier如何跨越重峦叠嶂

MetaThoughts

Java 并发 多线

NumPy_2021.07.05

Flychen

Nacos配置中心交互模型是 push 还是 pull ?你应该这么回答

程序员小富

Java 编程 程序员 分布式 nacos

CloudQuery 使用教程 No.4 数据查询(下)

BinTools图尔兹

dba 数据库管理工具 国产数据库 运维开发

合肥智慧社区平台建设解决方案,平安小区建设

iOS不行?还是个人能力有限?

ios 程序员 IT 编程之路

云图说 | 华为云医疗智能体智联大健康:AI医学影像

华为云开发者联盟

AI 医学影像 医疗智能体 华为云医疗智能体 大健康

数字化转型提升太平洋保险风险治理能力

数据湖洞见

大数据

涨薪50%,从小厂逆袭,坐上美团L8技术专家(面经+心得)

Java 编程 程序员 面试

iOS开发 · iOS音视频开发 - ARKit 教学:如何搭配SceneKit来建立一个简单的ARKit Demo

iOSer

ios ios开发 ARKit iOSAR.

国家网信办:“滴滴出行” 下架整改!

学神来啦

免费分享学习Java框架Netty的优秀图书

Java入门到架构

Java 书籍推荐

从零实现一个 k-v 存储引擎

roseduan

存储 Go 语言 KV存储引擎 存储系统

并发王者课-铂金6:青出于蓝-Condition如何把等待与通知玩出新花样

MetaThoughts

Java 多线程 并发

阿里技术分享:闲鱼IM基于Flutter的移动端跨端改造实践

JackJiang

flutter 即时通讯 IM

JAVA 九种排序算法详解(中)

加百利

Java 数组 排序 7月日更

Java开发从二面被拒到收割阿里架构offer,我花了一年时间,复盘成功经历!

Java架构追梦

Java 阿里巴巴 架构 offer 成长笔记

微服务高效运维,从性能保障谈起_语言 & 开发_华为云产品与解决方案_InfoQ精选文章