Sauce Labs 将分析和扩展调试添加到其持续测试云中

阅读数:157 2018 年 4 月 25 日

话题:持续集成DevOps持续交付语言 & 开发

看新闻很累?看技术新闻更累?试试下载 InfoQ 手机客户端,每天上下班路上听新闻,有趣还有料!

在最近的用户会议SauceCon上,Sauce Labs为其持续测试云加入了一些新的功能,包括测试分析,其中还包含了一个仪表板,用于分析测试结果并显示浏览器和操作系统(包括安卓和 iOS)常见的故障。

分析仪表板中的构建表包含了一个名为“效率”的指标,能够显示每个构建中测试已实现的并行化水平。 “效率”指标以百分比表示,即构建花费的时间与其中最长测试持续时间之比。

测试趋势可提供测试、通过 / 失败 / 错误的趋势以及测试历史和单次测试结果的详细信息,从而识别不稳定的测试以及测试运行时间和通过 / 失败率不一致的现象。 图形用户界面 (GUI) 提供的过滤粒度从所有测试概览到 5 秒之内。

使用测试时间段和其它过滤器标准,测试深度见解、测试性能可视化能够显示每个测试运行的散点图。 此外,还提供了六个测试性能统计信息,即:总运行次数、总错误数、总失败次数、最快运行时间、最慢运行时间和平均排队时间。 散点图还能显示正在运行的测试的每个实例,和表示运行状态颜色代码,这些状态与测试执行或失败的时间相对应。 X 轴表示使用时间过滤器所选择的时间范围。 Y 轴表示每次运行测试持续的时间。测试中指定的平台、操作系统和其他功能的特定信息也被显示了出来。

另一个新的Rest API (目前仍处于测试阶段)能够使用户将分析数据汇总到内部构建的质量仪表板或测试分析工具中,并生成所有测试数据的统一视图。 现有Sauce 插件可将测试平台集成到持续集成 / 交付功能或 DevOps 工具链中。

通过显示网络和浏览器错误,扩展调试可帮助开发人员查明问题,更深入地了解测试失败。 通过在 Selenium 测试脚本中添加 extendedDebugging 功能,可以收集测试生成的 JavaScript 控制台日志(JS)和 HTTP 归档格式(HAR)文件,以用于调试测试和构建性能。

JavaScript 控制台日志是浏览器明确记录的安全错误、警告和消息的集合。这些日志可用于查找 Web 应用程序的哪些组件未能加载或遇到错误、浏览器记录了哪些警告以及其他应用程序性能信息等。 控制台日志信息与事件发生所在的 URL 相关联,并由四种类型的信息组成:日志、信息、警告和错误。

HAR 文件是浏览器在执行测试期间发出和接收的网络请求和响应的集合。这些文件提供了哪些浏览器请求已超时或从未加载,哪些请求正在减慢加载进程以及哪些 API 调用出现了错误等信息。由于使用 extendedDebugging 功能时,测试会生成附加资产,因此测试性能可能会受影响。 此功能目前仅能在 Chrome 和 Firefox 浏览器上进行测试,而对于安卓模拟器来说,此功能向所有 Sauce Labs 用户开放,无需支付额外费用,现在一般都可用。

全面的测试分析功能集将于 2018 年第二季度全面上市,并将提供给 Sauce Labs 企业级客户,无额外费用。

查看英文原文Sauce Labs Adds Analytics and Extended Debugging to Continuous Testing Cloud


感谢冬雨对本文的审校。

给 InfoQ 中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们。