写点什么

DevOps 中如何系统开展微服务性能测试?

  • 2020-03-27
  • 本文字数:1632 字

    阅读完需:约 5 分钟

DevOps中如何系统开展微服务性能测试?

基于 Devops 的微服务架构是云时代部署应用的一项热门技术,它把庞大的单个应用程序分解为数十个微服务,使业务更快速地响应市场变化。但是每个微服务有不同的客户需求并且随着微服务增多,无法做 1:1 验证,传统性能测试模式已不能满足 Devops 平台的要求。 DevOps 中如何系统开展微服务性能测试?

微服务架构下的性能测试挑战

微服务是实现 DevOps 的重要架构

1.微服务 3S 原则



2.DevOps 核心点



  • 亿级用户的平台

  • 单服务业务随时扩容

  • 服务之间存在相互调用关系

  • 版本更新快,上线周期短



单服务流量激增时扩容


调用链条变长,调用关系更加复杂


微服务拆分导致故障点增多


单服务变更性能影响如何评估?


性能瓶颈在各微服务间漂移,如何做好性能测试?


应对突发流量需求,扩容能否解决问题,如何扩容?


服务实例数量众多,如何收集信息,快速定位性能问题?

微服务性能保障解决方案设计



•关键设计 1:模块化管理,事务灵活组合与复用



关键设计 2:应用与资源一体化编排


性能测试实施策略

  • 单服务接口测试(契约)

  • 验证单服务的各个接口能力基线以及组合接口的能力基线,服务间遵循契约化原则,大部分问题屏蔽在集成之前

  • 全链路测试(SLA)

  • 验证整个系统之上全链路场景以及多链路组合场景的性能,优化链路中性能不足的服务

  • 伸缩能力验证(面向现网运维)

  • 验证单服务的水平扩容能力,验证既定模型下的多链路组合场景的资源模型


在微服务架构下,自动化仍然是提升效率,看护质量的重要手段,每个微服务独立快速迭代上线,更加要求微服务的性能不劣化。




  • 存在部分响应超时:

  • a) 服务器繁忙,如某个服务节点 CPU 利用率高

  • b) 网络 IO 超过 VM/EIP 带宽

  • c) 等待后端微服务、数据库的超时时间设置过长

  • TPS 未随着并发数增长而上升:

  • a) 系统性能到达瓶颈,持续并发加压过程中响应时延增加(可观察响应区间统计)

  • b) 可通过进一步加压是否会出现非正常响应验证

  • 运行一段时间后全部响应超时或者检查点校验不通过:

  • a) 大压力导致系统中某个微服务奔溃

  • b) 后端数据库无响应

  • TP90 响应时延较短,TP99 时延高:

  • a) 系统性能接近瓶颈

  • b) 可通过进一步加压是否会出现非正常响应验证


  1. 扩容:链路中的某一应用可能出现 cpu 使用率较高或者连接池资源不够用(rpc、jdbc、redis 连接池等)但本身对于拿到连接的请求处理又很快,这一类需要横向扩展资源。

  2. 应用逻辑优化:比如存在慢 sql、逻辑的不合理如调用 db 或者 redis 次数过多、没有做读写分离造成写库压力过大。

  3. 超时时间的合理设置:对于应用之间的 rpc 调用或者应用与其他基础组件之间的调用,均需要设置合理的超时时间,否则过长的等待将造成整个链路的故

  4. 缓存的应用:请求尽可能从前端返回,而不是每一个都要让后端应用处理后再返回,减轻后端应用及数据库压力,提高系统吞吐能力。

  5. 限流:对于超出承载能力的 QPS 或并发,可以进行拦截并直接返回提示页面。

  6. 降级:对于非核心链路上的应用,允许故障关闭而不影响核心链路。

典型互联网平台的全链路分段压测

一个典型的互联网平台:突发事件高流量突发,如瞬间由百级用户增长到万级



对于网络架构复杂的应用,可以拆分压力的入口点,进行分段验证,屏蔽对应网元带来的性能影响,如分别从最外端的 CDN 入口(1)、中间的 ELB(2)、业务层(3)分别做测试,验证复杂网络架构情况下,各网元的瓶颈和影响,系统内部的性能瓶颈如何提升定位效率?

APM 调用链跟踪解决问题定位最后一公里

在上线和活动前期通过云性能测试服务进行压力测试,发现部分接口的响应时间比较长,会出现比对失败和响应超时,通过 APM 的调用链分析,发现有部分 SQL 语句比较耗时,针对这些 SQL 查询语句,建立了索引,快速定位问题并迅速解决。


最终经过两轮测试优化后,官网首页访问响应超时与正常返回比提升了 43.3%,预约试驾场景响应超时与正常返回比降低到 0,提升了 100%。


性能瓶颈定位时间,从官网未使用 APM 时需要 1 周,缩短到俱乐部使用 APM 后的 0.5 天,效率提升 90%。


  • 资源分析:

  • 调用链分析:


本文转载自华为云产品与解决方案公众号。


原文链接:https://mp.weixin.qq.com/s/WR5YePZeyvaMJu8-LVxCJQ


2020-03-27 22:042817

评论

发布
暂无评论
发现更多内容

软件测试|测试平台后端开发Flask操作数据库-数据CRUD(增删改查)

霍格沃兹测试开发学社

软件测试|测试平台后端开发Flask操作数据库-多对多

霍格沃兹测试开发学社

软件测试|缺陷的生命周期是怎么样的

霍格沃兹测试开发学社

软件测试|测试平台后端开发Flask框架-集成Swagger文档

霍格沃兹测试开发学社

软件测试|Pycharm基础使用介绍

霍格沃兹测试开发学社

一切为了开发者,9月16日,重大信息即将发布,敬请期待

LAVAL社区小助手

新华网专访王文京:向全球前三的企业数智化平台迈进

用友BIP

2023全球商业创新大会

酷克数据推出AI开发工具箱HashML 加速企业级AI应用落地投产

酷克数据HashData

DAPP开发与经济模型设计

区块链软件开发推广运营

数字藏品开发 dapp开发 区块链开发 交易所源码 NFT开发

NFT交易所交易平台开发功能以及创新设计

区块链软件开发推广运营

交易所 质押挖矿 数字藏品开发 区块链开发 NFT开发

公链开发联盟链开发区块链浏览器开发钱包开发

区块链软件开发推广运营

数字藏品开发 dapp开发 区块链开发 链游开发 公链开发

Python从0到1丨详解图像锐化的Sobel、Laplacian算子

华为云开发者联盟

Python 人工智能 华为云 华为云开发者联盟 企业号9月PK榜

如何解决基因行业海量数据传输难题?镭速传输给出答案

镭速

大数据传输

软件测试|测试平台开发Flask操作数据库-ORM

霍格沃兹测试开发学社

交易所开发中心化交易所与去中心化交易所

区块链软件开发推广运营

数字藏品开发 dapp开发 区块链开发 交易所源码 NFT开发

软件测试|Flask操作数据库-一对多

霍格沃兹测试开发学社

软件测试|Vue常用指令-条件渲染(v-if)

霍格沃兹测试开发学社

喜讯!极限科技再次荣获一项国家发明专利授权

极限实验室

发明专利 数据分区 二维拆分算法

软件测试/测试开发丨Python Debug 调试与分析

测试人

Python 程序员 debug 软件测试 测试开发

ClickHouse 存算分离改造:小红书自研云原生数据仓库实践

小红书技术REDtech

数据仓库 云原生 OLAP Clickhouse 存算分离

数智化时代,企业如何深度推进业财融合?

用友BIP

业财融合 2023全球商业创新大会

企业大数据平台建设七大场景,看这本指南就够了

极客天地

js 高精度计算 - decimal.js 库

程序员海军

JavaScript 精度 高精度计算

如何加快跨国传输大文件的速度?

镭速

跨国传输大文件

DevOps中如何系统开展微服务性能测试?_DevOps & 平台工程_华为云产品与解决方案_InfoQ精选文章