字节跳动精准测试实践，SmartEye背后的设计逻辑_语言 & 开发_字节跳动技术团队



 写点什么

简介

在移动互联网高度发展下，移动 APP 趋近于大型化，功能也趋近于复杂化，诸如各种国民级应用，功能/玩法等迭代不停，其背后对应的研发协作团队也非常庞大。在此种场景下，依靠人力堆叠去保障产品质量，并非最优解，在软件规模达到某个临界点之后，问题逃逸将无法避免。

字节跳动在代码覆盖率监测平台基础上，建立了 SmartEye-智能化精准中台，帮助研发团队快速定位代码变更影响域，精准推荐测试用例/自动化巡检任务，为业务减负，为研发团队提效。

背景

在日常的研发活动中，我们经常会遇到下列场景：

这次需要研发自测保障了，我的用例集是不是全都有效覆盖了？
这次技术重构改动挺大的，会影响哪些已有功能？
基础工具 SDK 有重大升级，我是涉及到的业务方，哪些功能需要测试验证？
版本要上线了，大家都走一下全量回归 Case，测试重点在哪里？回归测试用例集全量执行是不是必要的？
在项目研发团队中的每个同学质量标准是不是都统一了？

上述问题在产品快速迭代下会越来越突出，每一个软件工程师应该都经历过上述问题的“拷问”。在此背景下，精准测试也应运而生。精准测试是国内软件工业界首创的技术概念。近年来，随着国内工业界深入探索，精准测试已经有较为广泛的影响力和统一的认知。

精准测试是质量工程智能化建设的重要趋势，为项目研发验收全流程建立公信力度量指标，解决用例与代码的双向关联，精准匹配和投放测试资源（人力/机架），削弱/打破项目规模增长与质量保障资源增长的强正相关关系。

工作流程

上述是字节跳动研发团队比较常见的研发流程，在这里我们把研发需求划分为 5 个阶段：开发、自测、测试、集成回归、上线。精准测试发生的区间主要在自测、功能验收测试和回归测试阶段。在这三个阶段的节点 1、2、3，业务通过请求 SmartEye 服务，可以分别获取到自测推荐用例，功能测试推荐用例，回归测试推荐用例。其中，自测用例和功能测试推荐用例用于验证代码变动是否引起存量功能异常，将功能缺陷发现时机前置，为研发团队争取更多的修复时间。回归测试用例推荐用来精简回归测试人力，帮助业务节省回归测试人效。

用例知识库

我们前期先建设了基础代码覆盖率监测平台，收集程序运行时的动态代码覆盖率数据，以此为基础来构建用例知识库。

用例录制

客户端手工用例

人工用例录制，利用内嵌到客户端的 SDK，提供 UI 界面供用户进行录制操作，同时由 SDK 内部保障录制过程中数据清理，采集，上报。用例录制结束后由 SDK 对当次录制数据进行上报，服务端实时解析，落盘用例知识库，供后续数据分析推荐，并及时给予用户录制反馈。

客户端自动化用例

自动化用例录制全流程无人工干预，录制时需要以单个用例为分割，记录单条用例的代码覆盖率数据和用例的关联关系。SmartEye 结合客户端高级调试模式 SDK，使用公司基础长链接服务控制自动机架的指定设备进行用例数据的录制/停止，全流程自动化，可以以很小的成本，批量录制客户端自动化用例。

用例结构化信息

用例索引

利用当前变动信息、调用链信息、覆盖率信息等基础能力，建设代码-用例的映射数据集，以索引形式存储海量用例，为测试用例推荐等上层服务产品提供数据基础。基于用例的关联方法、关联代码块、上下游调用链路以及对应覆盖率等信息，建设不同粒度不同版本的调用信息-CaseIDs 倒排索引服务，直接支撑推荐引擎的用例召回功能；此外，服务适配用例录制接口，实现了用例录制->用例信息解析->用例信息入库->索引生成的全流程自动化处理，并支持双端、人工 &&自动化用例的多维度用例独立存储。