正式定档!QCon 北京站改期为2024年4月11-13日,地点:北京·国测国际会议会展中心 >>> 了解详情
写点什么

苏宁蛙测 &SAT 在自动化测试方面的应用

  • 2018-11-07
  • 本文字数:3695 字

    阅读完需:约 12 分钟

苏宁蛙测&SAT在自动化测试方面的应用

前言

2018 年苏宁易购提出了智慧零售大开发战略,业务快速发展对苏宁的 IT 技术提出了更高的要求,其中一个重要的环节就是加快软件版本的上线步伐,伴随着软件的频繁快速上线迭代必然存在巨大的测试压力。

通常情况下,软件测试的工作量很大。而频繁版本迭代中,针对老功能的回归测试是重复性的且这类测试比较耗时耗力,并要求做准确细致的工作,这样,计算机就比人更适合完成任务。另一方面,手工测试存在诸多的局限性。于是,就诞生了软件自动化测试这个领域。软件自动化测试是相对手工测试而存在的,主要是通过所开发的软件测试工具、脚本等来实现。

2011 年以前,针对自动化测试,苏宁各业务部门会安排一有代码能力的测试人员,全职编写自动化脚本,有人用 java、有人用 python,有人用 ruby 等等,并没有一个体系性、标准化、流程化的规范,因此也导致脚本维护成本高,复用性低,同时对测试人员的技能门槛比较高。

在这样的背景下,开始了我们苏宁自动化测试实践之路。下面我来为大家详细介绍。

1 SAT 是什么

苏宁自动化测试工具(Suning Automation Tester)——简称"SAT",是苏宁测试平台研发中心自主研发的集 WEB 页面、HTTP 及 RSF 协议、手机终端、数据库操作、LINUX 操作等方面的于一体的自动化测试工具。
SAT 是基于 RCP 平台上实现自动化用例设计和自动化执行的工具。它采用自动化测试架构中的关键字驱动 (Keyword) 思想,使测试设计和测试实现分离,将实现不同公共组件类、业务类 Keyword 集成到一个用例中运行,也最大限度地实现 Keyword 共享,降低测试组重复开发的工作量,使测试人员可以更关注业务本身的测试;另外工具提供了完善的日志和测试报告功能,方便用户查看用例执行日志和批量执行测试报告;最大限度地降低工具使用门槛,提高了其自动化开发、测试效率。

1.1 应用范围

  • Web 应用软件产品测试
  • 移动应用产品自动化测试,支持移动端 Android、iOS 两大主流操作系统
  • 协议接口测试(HTTP、RSF、MQ)
  • 数据库操作
  • 支持 SAP 类型测试

1.2 特点优势

  • 浏览器 / 移动终端录制功能,自动生成脚本
  • 拖拽关键字快速生成测试脚本,降低自动化门槛
  • 业务关键字自由配置,满足业务扩展
  • 测试数据独立存储,维护成本较低
  • 测试脚本等相关资产可共享协作,提高测试工作效率

2 蛙测是什么

蛙测是苏宁自主研发的一套综合测试服务平台,是面向软件从业者的一体化测试解决方案,包含移动端 (Android&iOS) 自动化测试和专项测试、 PC 端多浏览器兼容性测试、接口协议自动化测试,以及性能测试和安全测试的云测平台,解决广大开发者和测试者在应用研发过程中面临的成本、技术和效率问题,提供 7x24 全天候服务。

平台核心服务有功能测试、自动化测试、性能测试、稳定性测试以及安全测试等,对应用软件提供 360 度全方位自动化检测,有效节约成本,提高了版本回归测试效率,为苏宁软件质量保驾护航。

3 蛙测自动化方面特点

  • 移动设备 /PC 终端资源共享,节约成本
    App 应用都需要在主流机型上测试验证,需要购买较多移动设备,采用蛙测平台后,可以做到移动设备资源共享。
    PC 端测试,解决本地编辑、在线编辑、云端执行的冲突和效率问题,蛙测提供了测试集群,根据有效规则指定测试执行器消化测试任务。

  • 测试计划随时创建,云端多机并行执行,多终端支持,执行计划灵活设置
    测试资源池化,7x24 全天候服务,立即执行、定时 / 循环定时执行、条件触发执行等不同执行计划按需设置,多云端设备串行、并行测试,效率高,报告日志实时查看,持续追踪。

  • 多手段自动生成测试数据,高效高质量
    构造数据手段丰富,支持 SQL 语句、UI 和接口自动化,无逢对接企业现有逻辑,百余台服务器 7*24 小时提供服务,保障数据的高效生成。数据构造集中管理,避免各自为战,严谨的数据复检功能。

  • Mock 测试,设置方便灵活,千人千面,满足多种业务场景
    支持用户创建全局和请求级桩服务,支持 HTTP、ESB、RPC 等协议 Mock,对代码无侵入,支持同步、异步以及回调场景等功能,提供调用日志查询,满足多种应用场景。同时与服务管理平台、一建站系统打通,让接口测试更便捷,更简单。

4 蛙测 &SAT 技术架构

蛙测的技术架构

SAT 的技术框架

蛙测平台的技术框架

5 蛙测 &SAT 在自动化测试实际应用

5.1 自动化测试脚本实际应用

5.1.1 数据定义的应用

全局变量:基于对业务的理解抽取公共字段定义变量

局部变量:根据数据的复杂度决定使用组合关键字定义变量,或用表格定义数据实现用例数据分离

5.1.2 组合关键字的应用

多操作步骤封装为一场景步骤关键字,大大减少了测试脚本的步骤数,提升了脚本可读性,且该组合关键字后续可重复拖拽使用,有效提高了脚本编写效率,减少了维护成本。

操作:选择合适的场景—> 封装组合关键字—> 拖拽组合关键字至测试用例

选择合适场景封装组合关键字

引用组合关键字后脚本测试步骤展示:

5.1.3 原子用例的应用

原子用例的设计为实现高可维护性自动化提供一种解决方案,单场景复用,便于测试场景的有效列举。

操作:选择合适用例—> 设置原子用例—> 拖拽原子测试用例至测试用例

用例树区分展示原子用例、普通用例、已引用原子用例的用例;

业务用例中拖拽引用原子案例,根据业务场景多次引用相应场景原子用例,编写对应场景用例

5.1.4 应用效果

基于对业务的理解抽取公共数据、公共逻辑实现组合关键字、原子用例,自动化脚本优势可充分利用并放大实际应用效果

  • 脚本可读性高
    降低测试用例的冗余度,大大减少步骤数,也提高可读性
    减少编写案例的工作量
  • 公共逻辑可复用性强
    组合关键字 / 原子用例存在共性,可供重复引用
    便于测试场景的有效列举
  • 脚本可扩展性高 / 维护成本低
    需求发生变更,只要维护少量组合关键字 / 原子用例
    大大降低维护成本
    无论业务如何变化,合理使用好组合关键字、原子用例,抽取数据做好数据定义,这两项能为大家的自动化测试工作保驾护航。
    (Tips:工具提供的只是手段,最核心的还是需要大家深入理解、挖掘业务)

5.2 mock 实际应用

桩发展历程:最初 SAT 端只支持请求级别桩,但是异步的 rsf 请求中,找桩标记无法自动下传,需要服务修改代码把找桩标记下传后才可使用。

后经过多方研讨,决定把桩服务升级应用于蛙测平台,通过对接口设置挡板的方式,构建测试数据实现千人千面,也就有了现在的全局桩、UI 桩、回调桩等全面桩。

5.2.1 请求调用


请求桩 / 全局桩实际应用

脚本中 rsf 埋桩 demo 展示示例:

设置桩响应条件,填写请求报文相应属性路径下,参数的属性值,接口请求时,根据响应条件的匹配,返回相应设置的模拟桩,即做到某桩在某请求条件满足响应条件下生效,真正做到千人(桩响应条件)千面(桩响应报文)。
SAT 端桩响应条件设置

蛙测端桩响应条件设置

5.2.3 MQ 接收

MQ 接收的场景一般分为以下两类:
场景一:通过 MQ 队列接收数据之后直接存库;
场景二:通过 MQ 队列接收数据后需要继续调用处理其他资源,然后入库 / 入缓存等操作。
自动化实现:
场景一 场景二

截图中测试步骤列举的为 MQ 收到消息需要调用其他资源需要用到的一些关键字。
MQ 场景二涉及调用其它资源,为独立测试该场景,mock 相应依赖,因此引入全局桩的概念。

5.2.3 应用效果

请求级别桩优势:

  • 桩数据在本地,对蛙测依赖小
  • 通过 SAT 日志就能定位问题,方便简洁
    全局桩优势:
  • 支持场景丰富,同步 / 异步请求都支持,且不需要被测系统嵌入代码
  • 通过构造请求报文的多样性,实现千人千面
  • 蛙测支持多机并行

根据请求桩与全局桩存在不同优势,结合业务需求相应结合使用,实现 Mock 测试,摆脱被测系统间依赖,提高测试质量及效率,同时成功解决测试人员、开发人员在测试和研发过程中,数据构造、环境依赖等痛点,大大提高了生产效率,提高测试场景的覆盖率,保障了业务版本上线的质量。

6 蛙测 & SAT 解决的问题和实现的价值

6.1 解决的问题

  • 用户手工测试耗时长效率低
  • 自动化脚本写作门槛高
  • 自动化脚本维护成本高,复用率低
  • 用户自动化执行需占用本机的资源
  • 用户缺少特定测试设备
  • 单机执行并发度低,测试耗时久,效率低下
  • 本地执行后测试结果无法有效追踪
  • 接口测试时依赖方不可用,测试人员无法提前介入测试
  • 构造异常数据流程复杂,无法很快生成,影响测试效率
  • 依赖方涉及到现金交易,测试成本高

6.2 实现的价值

  • 测试资源池化,多浏览器、多终端设备、稀缺资源统一管理
  • 降低测试成本,测试设备在云端,共享使用
  • 多维度并发执行,提高测试效率
  • 云端任务执行,测试结果持续追踪,
  • 摆脱被测系统间依赖,自已的测试自己做主
  • 数据构造集中管理,统一调度

7 总结

目前蛙测 &SAT 在苏宁集团各业态已全面应用,包含苏宁易购、物流、金融、科技、置业、文创、体育和投资八大体系近万名 IT 研发人员。此间测试资产积累效果显著,每月自动化测试执行案例数超过 100 万,自动化测试步骤数超过 3000 万行。

蛙测团队一直在努力,在测试技术方向,持续探索,永不停歇!我们的宗旨:提供专业、简单、高效的测试服务!

欢迎大家多多关注、共同交流!

作者:
卢烨,苏宁云测试平台技术经理,2013 年加入苏宁,一直从事测试工具与平台的测试、产品工作,始终专注于测试技术、测试效率等相关领域。精通自动化测试、测试管理方面新技术和新理念,同时对自动化测试、测试管理在实际测试活动中的应用实践积累了比较丰富的经验。

2018-11-07 18:405999

评论 7 条评论

发布
用户头像
公共方法抽象,数据驱动,基于关键字,让自动化无门槛,同时也支持自定义方法,基本满足了不同的人群。不错
2018-11-13 17:19
回复
用户头像
SAT降低了自动化测试的门槛,蛙测一个浏览器搞定测试,确实很赞!
2018-11-13 17:13
回复
用户头像
赞 测试人员自动化写作的好工具
2018-11-13 17:09
回复
用户头像
没卵用的东西
2018-11-08 14:12
回复
何出此言?
2018-11-12 15:28
回复
为啥呢?没有论据的东西都是耍流氓
2018-11-13 17:16
回复
没有更多了
发现更多内容

Apache.commons.lang3 的 isNumber 将会在 lang 4 的时候丢弃

HoneyMoose

Fabric.js 元素被选中时保持原有层级🥁

德育处主任

web前端 前端可视化 FabricJS Fabric.js 6月月更

LabVIEW控制Arduino采集多路DS18B20温度数值(进阶篇—3)

不脱发的程序猿

单片机 LabVIEW Arduino VISA 采集多路DS18B20温度数值

【LeetCode】爱吃香蕉的珂珂Java题解

Albert

LeetCode 6月月更

OKALEIDO的NFT聚合交易,打造面向艺术家的Web3商业生态

BlockChain先知

在 Flutter 中以编程方式截取任何 Widget

坚果

6月月更

SpringBoot官方支持任务调度框架,轻量级用起来也挺香!

沉默王二

Java springboot

如何搭建短视频app源码,实现短视频内容的播放优化

开源直播系统源码

APP开发 短视频源码

重载(overLoad)与重写(override)的区别与详解(详解+对比+代码示例)

写代码两年半

javase 多态 重载 6月月更

谈在代码中嵌入标记生成模版

原创 6月月更

协同办公市场暴增背后:融云通信能力是需求重点

融云 RongCloud

小程序容器可以发挥的价值

Geek_99967b

小程序容器

Java类与对象,万物皆对象

未见花闻

6月月更

leetcode 934. Shortest Bridge 最短的桥(中等)

okokabcd

LeetCode 搜索 算法与数据结构

架构训练营模块三作业

融冰

物联网低代码平台如何快捷管理资产?

AIRIOT

【愚公系列】2022年06月 面向对象设计原则(二)-开放闭合原则

愚公搬代码

6月月更

抖音测试小说频道:抖音早已不再是短视频平台

石头IT视角

深入浅出Spring事务的实现原理

清风

spring 原理 事务 源码学习 深入浅出

C#入门系列(八) -- 方法定义

陈言必行

C# 6月月更

聚焦中国算力大会 | 浪潮集团肖雪: 数字化转型新场景激发算力需求

浪潮云

云计算

Vue.js到底是什么

Geek_99967b

小程序 Vue

聊聊我接触到的语言

卢卡多多

技术 语言 & 开发 6月月更

Disruptor 高性能堆内队列 系列二

Nick

Java Disruptor false sharing 6月月更 高性能堆内队列

Web Service进阶(七)浅谈SOAP Webservice和RESTful Webservice

No Silver Bullet

6月月更 SOAP Webservice RESTful Webservice

一二三线互联网公司划分标准和榜单

laofo

研发效能 互联网公司 一线大厂 二线互联网 一线互联网

ArrayList的底层?

源字节1号

软件开发 前端开发 后端开发 小程序开发

spring4.1.8初始化源码学习三部曲之二:setConfigLocations方法

程序员欣宸

Java spring 6月月更

JavaScript原型链继承与盗用构造函数继承

大熊G

JavaScript 前端 6月月更

Django API 开发:身份认证原理

宇宙之一粟

django 6月月更

服务管理与通信,基础原理分析

Java 架构 微服务 nacos Feign

苏宁蛙测&SAT在自动化测试方面的应用_软件工程_卢烨_InfoQ精选文章