《2023中国云原生成熟度模型报告》清晰展现中国云原生技术发展成熟度现状! 了解详情
写点什么

移动 app 云测试平台的对比与分析

  • 2016-05-17
  • 本文字数:3220 字

    阅读完需:约 11 分钟

我们都知道在测试移动 app 时最耗时的是在各种测试设备进行测试, 因为不论是安卓还是 iOS 都已经碎片化了。而云测试看似是解决这一问题的有效途径。因此选择哪种云测试平台来协助测试人员进行各种测试就成为首要问题。

我们先来看看云测试平台通常都提供哪些功能和服务。

主流的云测试平台都支持对原生 native,混合 hybrid 和 Web app 的测试,这些测试包括:

  1. 兼容测试 通过在多种测试设备上安装/卸载和运行被测 app,遍历 app 的每个界面,主要检查 app 是否会报错或者崩溃。有些云测试平台还会对每个页面进行截图并进行对比。
  2. 脚本测试 通过运行云测试平台工具进行录制的或者使用自动化测试框架编写的自动化脚本,实现模拟用户操作的目的,并且减少手动测试时间。
  3. 性能监控和分析 利用 Android SDK 提供的借口,云测试平台可以检测移动 app 的耗电量,CPU 等资源占用率,使用的流量等信息。有些云测试平台还提供自己的 SDK,整合在 app 中可以提供更为准确的性能指标和信息,包括线上 app 的性能信息以及崩溃信息等。
  4. 手动测试和人工测试 云测试平台的手动测试是指租用云测试平台的特定设备,测试人员手动登录设备进行测试。而人工测试则是将测试需求告知云测试平台的专业测试人员,雇佣他们临时作为自己的测试人员进行测试。
  5. 持续集成 不少提供脚本测试的云测试平台都同时提供对持续集成(Continuous Integration)环境的支持。

此外不少国内云测试平台还提供以下功能:

  • 安全测试

  • 内测托管分发

  • 众包测试

我们再来看看各种云测试平台对于上述功能和服务的支持情况。

由于国内外的云测试平台使用环境等因素的不同,我们分别对国内外主流的几个云测试平台进行对比。

国外主流的云测试平台:

(点击放大图像)

图 1 - 国外主流的云测试平台对比

从上图我们可以看到一些特点:

  1. 在测试设备的数量上,Xamarin Test Cloud 和 Sauce Labs 都是非常有优势的,虽然 Xamarin Test Cloud 统计的是测试设备的数量,而 Sauce Labs 是平台的数量;

  2. 亚马逊自己的 FireOS 只被自己的云测试平台支持,在国内我们也能看到类似的例子;

  3. 所有的云测试平台都支持 app 测试,但是只有 TestDroid 支持游戏测试;

  4. 对于国内云测试平台提供的人工测试,安全测试,内测分发和众包测试,国外这些云测试平台都是不支持的,需要结合别的工具和框架进行使用。不过对于手动测试,Sauce Labs 和 Perfecto 这两个云测试平台支持租用测试设备进行手动测试;

  5. 对于云测试基础功能的兼容测试,以及脚本测试,崩溃分析和持续集成,这些云测试平台都是支持的;

  6. 只有 Xamarin Test Cloud,TestDroid 和 AWS Device Farm 支持性能监控;

  7. 对于脚本测试所使用的移动 app 自动化测试框架,每个平台都不甚相同:

  • Xamarin Test Cloud 支持 Calabash(iOS 和 Android)和自己的 Xamarin.UITest;

  • TestDroid 支持很多框架,包括支持 iOS 的 Calabash,appium,UI Automation 和 Jasmine,以及支持 Android 的 Calabash,appium,Espresso,Robotium 和 uiautomator;

  • Sauce Labs 支持自己的开源框架 appium;

  • Google Cloud Test Lab 则支持 Espresso,Robotium 和 Robo test;

  • AWS Device Farm 也支持很多框架,包括支持 iOS 的 Calabash,appium,UIAutomation 和 XCTest,以及支持 Android 的 Calabash,appium,JUnit,Espresso,Robotium 和 uiautomator。

  1. Xamarin Test Cloud,TestDroid 和 Sauce Labs 都有自己的移动 app 测试脚本录制工具,分别是:Xamarin Test Recorder,TestDroid Recorder 和 appium inspector。

综合来看,对于国外的云测试平台,如果侧重的是测试设备的覆盖程度,选择 Xamarin Test Cloud 和 Sauce Labs 会更合适;如果需要测试 FireOS 设备,那就选择 AWS Device Farm;如果侧重的是脚本测试中支持的语言和框架,那就可以选择 TestDroid 和 AWS Device Farm;如果是进行游戏测试,只能选择 TestDroid;如果要远程连接测试设备进行手动测试,那就需要选择 Sauce Labs 和 Perfecto;如果在测试过程中需要同步监测性能,就不能选择 Sauce Labs 和 Google Cloud Test Lab。

国内主流的云测试平台:

(点击放大图像)

图 2 - 国内主流的云测试平台对比

从上图我们也可以看到一些特点:

  1. Testin 云测支持的测试设备数量最多,达到了 600 部 Android 和 70 部 iOS 终端的数量;但是和 Xamarin Test Cloud 以及 Sauce Labs 支持的设备数量还是有不少差距的;

  2. 和亚马逊类似,阿里的 YunOS 也只有阿里 MQC 才能支持;

  3. 和国外的云测试平台很类似,这四个国内云测试平台也都支持 app 的云测试,而不支持游戏测试;只有 Testin 云测支持游戏测试;

  4. 对于云测试基础功能的兼容测试,国内主流云测试平台都是支持的;

  5. 这四个国内云测试平台也都支持崩溃分析,不过对于性能监控,却只有百度 MTC 支持,而且百度 MTC 的深度性能测试中还可以做竞品 app 的性能对比;

  6. Testin 云测和百度 MTC 不支持手动测试;

  7. 只有阿里 MQC 不支持人工测试;

  8. 只有 Testin 云测不支持安全测试;对于支持安全测试的云测试平台,也没有公布是如何进行安全测试的;

  9. Testin 云测支持内测分发和众包测试,阿里 MQC 支持众包测试,其它两个云测试平台对于内测分发和众包测试都不支持;

  10. 对于脚本测试,只有腾讯优测不支持;而对于测试工具和框架,各个平台的支持也不相同:

  • Testin 云测支持 Robotium,JUnit,淘宝的 Athrun 和 Testin SDK,其中只有 Testin SDK 支持 iOS 和 Android,其他框架都只支持 Android;

  • 百度 MTC 只支持通过自己的测试脚本录制工具录制的脚本;

  • 阿里 MQC 支持 Robotium 和增强后的 appium,其中 appium 可以支持 iOS 和 Android;

  1. Testin 云测,百度 MTC 和阿里 MQC 都提供了自己的测试脚本录制工具,分别是 itestin 录制回放工具,百度 MTC 录制回放工具和易测;

  2. 国内云测试平台都没有提及持续集成,不过从笔者的了解看来,Testin 云测和阿里 MQC 应该是都支持的。

对于国内云测试平台,如果需要覆盖更多的测试设备或者需要测试游戏亦或需要内测分发,只能选择 Testin 云测;如果需要测试 YunOS 设备,那就需要选择阿里 MQC;如果需要进行性能监控和竞品对比,那就选择百度 MTC;如果要远程连接测试设备进行手动测试,那就需要选择腾讯优测和阿里 MQC;如果需要雇佣云测试平台的专业测试人员,就不能选择阿里 MQC;如果需要进行安全测试,就不能选择 Testin 云测;如果需要进行众包测试,那就选择 Testin 云测和阿里 MQC;如果要进行脚本测试,就不能选择腾讯优测,对于百度 MTC 也不推荐。

相信通过对比这些云测试平台提供的功能和服务,以及它们各自的特点,读者在选用云测试平台时有了更多的依据。希望大家在使用这些信息作为依据时,综合考虑这些云测试平台的特点,同时可以使用它们提供的免费试用进行尝试,以便验证是否真的适合自己的 app。

P.S. 以上云测试平台提供的功能及服务,截止于 2016 年 3 月 20 日。

作者简介

黄勇 , ThoughtWorks 咨询师。在 10 年的 QA 相关领域的工作中,积累了丰富的对企业级应用和大型产品应用的测试和管理经验;近些年关注于移动 app 的测试和行业发展。合作组织和创办了北京软件质量大会 BQConf,始终关注于新的技术和业界趋势,不停汲取新的知识和实践,同时热衷于分享。著有《移动 app 测试的 22 条军规》,在 InfoQ 曾发表过《游戏化在保险项目中的实践》。


感谢张凯峰对本文的策划,感谢崔康对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-05-17 17:2816731

评论

发布
暂无评论
发现更多内容

发现你的职业价值观:打造成功职业生涯的关键

Jack

BATJ架构师首推!分布式事务原理与实战,出神入化

程序知音

Java 分布式 java架构 Java进阶 后端技术

VM虚拟机 v13.0.2激活版 for Mac许可秘钥

Rose

VMware Fusion Pro 13 VM虚拟机破解版 Mac虚拟机 VMware Fusion激活秘钥

上海丨阿里云 Serverless 技术实战营邀你来玩!

Serverless Devs

阿里云 Serverless 中间件

异常体系与项目实践

知了一笑

Java 架构

奋楫扬帆 津鸿智放丨中软国际携手深开鸿亮相第七届世界智能大会

科技热闻

中央企业数字化转型专业委员会正式揭牌!

用友BIP

财务管理

打造绿色低碳存储方案,助推数据中心绿色长“存”

天翼云开发者社区

CIO

浅谈基于Shapley值的数据融合反欺骗数据判断相关

天翼云开发者社区

数据 Shapley

CDN网关超大range计算方法

天翼云开发者社区

CDN

深入浅出 OkHttp 源码解析及应用实践

vivo互联网技术

okhttp 拦截器 源代码

展会回顾 | 2023元宇宙生态博览会圆满落幕,3DCAT荣获“元宇宙交互技术奖”

3DCAT实时渲染

元宇宙 实时云渲染 实时渲染云

全屋智能,始终在等一双“究极手”

脑极体

智能家居

标签系列:标签管理平台的架构与设计

Taylor

数据 标签 数据管理 标签体系

JavaScript中eval和with语句如何影响作用域链:探索深度知识

控心つcrazy

苹果系统更新:MacOS 11-13.x(PKG系统安装包及IPSW固件)

Rose

mac系统 macOS 13 Ventura 苹果最新系统 苹果系统下载

IDO&IEO盘点,包括PoseiSwap等即将面向市场的潜力打新活动

BlockChain先知

云原生可观测性的几大误区

Yestodorrow

云原生 APM 监控 可观测性

《好好学习》:如何管理知识?

郭明

从 DevOps 到平台工程:软件开发的新范式

SEAL安全

DevOps 软件研发 平台工程

Scrum进入疲惫期?三点帮你走出困境

敏捷开发

Scrum 敏捷开发 软件开发 Scrum Master 疲倦期

高级修图软件:Affinity Photo中文Mac版

真大的脸盆

Mac 图像处理 图像编辑 编辑图像 处理图像工具

旭阳数字郗维宝:数智化转型助力焦化企业打破行业困境

用友BIP

升级企业数智化底座 2023用友技术大会

IDO&IEO盘点,包括PoseiSwap等即将面向市场的潜力打新活动

股市老人

2023-05-18:有 n 名工人。 给定两个数组 quality 和 wage , 其中,quality[i] 表示第 i 名工人的工作质量,其最低期望工资为 wage[i] 。 现在我们想雇佣

福大大架构师每日一题

Go 算法 rust

Django笔记三十一之全局异常处理

Hunter熊

Python django 异常处理 全局异常

HashMap 底层是如何实现的?

javacn.site

java面试

开通 ChatGPT Plus 的一些经验分享(66/100)

hackstoic

ChatGPT

IDO&IEO盘点,包括PoseiSwap等即将面向市场的潜力打新活动

EOSdreamer111

C语言编程—常量

向阳逐梦

全球首款通过HDR Vivid认证的平板发布,华为视频全场景观影体验再升级

最新动态

  • 扫码添加小助手
    领取最新资料包
移动 app 云测试平台的对比与分析_移动_黄勇_InfoQ精选文章