Android 自动化测试解决方案

  • Abel Avram
  • 李勇

2011 年 10 月 7 日

话题:测试移动Android语言 & 开发

现在,已经有大量的 Android 自动化测试架构或工具可供我们使用,其中包括:Activity Instrumentation,MonkeyRunnerRobotium,以及Robolectric。另外LessPainful也提供服务来进行真实设备上的自动化测试。

Android 自身提供了对 instrumentation 测试的基本支持,其中之一就是位于 android.test 包内的ActivityInstrumentationTestCase2类,它扩展了 JUnit 的 TestCase 类来提供 Android activities 的功能测试。在应用测试中,每一个 activity 首先会被 Instrumentation 初始化,然后再加载到 Android 模拟器或设备的 Dalvik 虚拟机中来执行。

Android SDK 自带一个测试工具MonkeyRunner,它提供的 API 和执行环境可以运行 Python 语言编写的测试代码。它提供 API 来连接设备,安装 / 卸载应用,运行应用,截屏,比对图片来判断特定命令执行后的屏幕是否包含预期信息,以及运行对应用的测试。MonkeyRunner 使用ActivityInstrumentationTestCase2ProviderTestCaseServiceTestCaseSingleLaunchActivityTestCase及其他类来定义测试用例,并使用InstrumentationTestRunner类来运行测试。

Robotium是另一种通过 InstrumentationTestRunner 来完成 Android 交互式测试的架构,它横跨多个 activities,支持功能测试,系统测试和接收测试。Robotium 支持 Activities、Dialogs、Toasts、Menus、Context Menus 甚至 Honeycomb,并且它可以同 Maven 和 Ant 集成来完成持续集成测试。Robotium 被称之为针对 Android 应用的又一个“Selenium“。

Robolectric另辟蹊径,它并不依赖于 Android 提供的测试功能,它使用了 shadow objects 并且运行测试于普通的工作站 / 服务器 JVM,不像模拟器或设备需要 dexing(Android dex 编译器将类文件编译成 Android 设备上的 Dalvik VM 使用的格式),打包,部署和运行的过程,大大减少了测试执行的时间。Pivotal 实验室声称使用 Robolectric 可以在28 秒内运行 1047 个测试

LessPainful将 Android 测试又推进了一步,它提供了一个多设备平台自动化测试的服务。用户上传应用 (*.apk) 和用Cucumber(一种业务相关的 DSL)编写的测试文件,选择测试运行需要的设备配置,最后测试将自动执行并生成测试报告。它支持的设备包括 Garmin Asus,几款 HTC,LG,Samsung Galaxy,Sony Xperia 和 Motorola Motodefy。

为了了解更多 LessPainful 提供的服务细节,我们采访了 LessPainful 公司的 CEO Jonas Maturana Larsen。下面就是这次简短的访问:

InfoQ:在不同版本的 Android 上运行用程序,存在什么问题了保程序能正常运行,开者需要在 Android 的每一个版本上测试他的

JML举个例子,SAXParser 在 Android 2.2 之前有一个 bug 存在于对 ContentHandler.startElement 的回调中,它导致应用产生错误的行为。

到目前为止,我们已经在很多方面发现了不同操作系统版本间的差异性。其中一些可能在 2.1-update1 上导致崩溃,但可以正常运行于 2.1-update3 和 2.2.

InfoQ:不同的设备对Android,有没有真正的区?你能否们举个例子,比如 Android2.2用可以运行在 HTC 但不能运行于 Samsung?(或其他各种 Android 版本和设备制造商的合)

JML在 LG 手机,HorizontalScrollViews 有时会导致子视图上的背景图片消失。这个问题存在于我们测试的所有的 LG 手机,不管 Android 版本是多少。

如果你不自己处理这类问题,它将导致你的应用在不同设备上不尽相同。例如,Motorola 将会用红色边框来高亮一个输入域。在我曾经参与的一个项目中,我们用同样的红色边框来表示输入有误。

还有一些问题,与其说和制造商相关,不如说是和硬件相关:比如,一些手机使用了较小的 RAM 和高分辨率的摄像头,当你处理手机上的图像时就会将导致崩溃。

InfoQ测试是如何行的?

JML测试就如同运行一个 ActivityInstrumentationTestCase2,主要使用 Robotium 来运行。我们对应用所做的唯一修改就是去掉已有的签名,再为它重新生成我们的签名文件。

在测试运行完成后,应用会被卸载,而手机也会被恢复到初始设置。

InfoQ:与 MonkeyRunner,Robotium 和 Robolectric 相比,你所提供的服有什么优势呢?

JMLLessPainful 是一种服务,而并不仅仅是一种架构。我们希望创建一种服务,不但使测试能够进行,并且比起其他任何一种架构,它能够节省我们大量测试时间,还能够帮助我们发现更多的 bug。

另外,我们相信使用 Cucumber,可以清晰地定义高层次测试描述,同时可以更好地被开发团队以外的人员共享。

以 Git 领域为例,我们更希望成为像是 GitHub 那样, 而不只是通常的 git 库。

InfoQ:你划未来要支持更多的设备吗

JML是的。我们计划继续增加对更多设备的支持。如果有这样的要求提出,我们就会努力完成它。

目前,我们也在着手于对 iOS 设备的支持,希望 beta 版能在今年秋季发布。

InfoQ:什么是 LessPainful 企版?

JML我们将提供一个工具集,它就类似于一个 Mac Mini,但我们会非常灵活的满足顾客的需求。LessPainful 企业版目前还没有正式推出,所以敬请期待。

看英文原文:Automated Testing Solutions for Android

测试移动Android语言 & 开发