【AICon 全球人工智能与大模型开发与应用大会】改变 AI 时代下写代码的模式 >>> 了解详情
写点什么

优酷播放测试体系构建及平台化整合方案

  • 2020-02-17
  • 本文字数:2516 字

    阅读完需:约 8 分钟

优酷播放测试体系构建及平台化整合方案

一、背景


从去年开始,为了提升播放业务的测试效率、完备性和有效性,优酷技术质量团队对播放测试方案进行了一系列的优化改造,自研出一套白盒自动化测试框架,并在此基础上构建出基于实验室环境的播测验证体系和基于外网环境的动态拨测体系,在测试提效方面已初见成效,但新的挑战也随之出现,具体为:


  1. 随着播放测试能力的持续沉淀,各业务已形成了一套行之有效的 topic 维度的测试方案,播放测试能力急需流程化;

  2. 除移动端外,播放在多端场景下的测试覆盖度较低,播放测试能力急需多端化;

  3. 测试过程对于合作方不够透明,各方对测试标准和测试卡口理解存在不一致的问题,播放测试能力急需透明化。


综上,针对流程化、多端化和透明化三大诉求,优酷播放测试提效进入了大一统阶段,包括三个统一:大一统的内核自动化测试框架、大一统的内核自动化测试服务和大一统的平台体系。


二、大一统之内核自动化测试框架


要实现大一统的播放自动化测试体系,首先要实现统一的自动化测试框架,主要面临以下几个问题:


  1. 如何快速高效的支持各 topic 自动化 case 开发和执行;

  2. 如何将内核自动化测试能力赋能到多端多场景(直播、ott、iku);

  3. 如何使内核自动化框架具备更好的扩展性,以支持流程化和平台化。


为了实现播放各 topic 以及播放基础质量测试能力的全面拉通,以统一的方式支持播放业务测试用例的快速开发,最终实现统一地平台化收口,我们首先对各 topic 的通用测试场景、测试方案、个性化能力、通用工具集进行全面梳理,对相关 API 进行分层抽取,将新内核测试框架划分为 4 大模块:api、core、toolkit、testcase,整体结构设计如下所示:


共性 &个性化测试方案

智能档的测试方法不再赘述,下面主要介绍一下 PCDN 以及卡顿 topic 的基础测试方法:


  1. PCDN topic

  2. PCDN 核心目标是缩减成本,减少 CDN 的流量峰值,在保证分片下载功能正确的前提上,PCDN 重点关注覆盖率、分享率、浪费率、重复率等指标,因此测试需要重点关注 PCDN 在各种网络环境和用户播放行为下核心指标的正确性和合理性,PCDN 核心测试数据可以结合 VPM 埋点以及 PCDN 接口数据获取。

  3. 卡顿 topic

  4. 卡顿 topic 的主要关注点是各项卡顿优化的策略是否生效以及对播放体验的影响,如智能调度、慢切逻辑、网络探测等,卡顿核心测试数据可以通过 VPM 埋点、策略执行 log 以及 ODPS 历史埋点获取,除此之外,卡顿 topic 需要针对不同的网络场景和不同的用户播放行为进行组合验证。

  5. API 抽取 &工具集构建

  6. 我们将网络控制、数据收集、数据分析、case 校验作为核心,抽象出三大核心模块(case_checker、log_processor、network_controller),将模拟用户行为、hook VPM 埋点的 AFrame 客户端加入到工具集中,同样还将 PCDN 接口数据获取、ODPS 查询、热剧查询、OSS 上传等方法加入其中。


三、大一统之播放测试服务


为了让播放器自动化测试服务更好的赋能给 ott、iku、直播等多端多场景业务,也为了更好的支持流程化和平台化测试,我们把本地的内核自动化测试框架演变为平台服务(PKAT),并和播测 &拨测体系结合起来,形成了一套完备的内核自动化测试新框架,并作为一套服务添加到播放测试平台链路中。


整体链路包含以下四个部分:


一是播放测试调度服务:包含二方平台打通、设备管理、任务分发、结果管理等;


二是部署在外部网络的 AFrameServer:数据“中转站”,监听各类连接请求并建立通道;


三是与任务调度平台联动的 CaseClient:用例执行入口;


四是内核自动化测试服务:提供播放内核以及多端场景的验证服务。


整体的技术细节如下图所示:



四、大一统之平台收口


优酷技术质量团队始终关注测试基本盘的有效性和完备性,在持续深化核心 topic 线下测试评估能力、守住质量基本盘的同时,形成了涵盖线下测试、冒烟播测、外网拨测的三级漏斗用例模型,测试同学为此持续提供逻辑自洽、基于用户和业务的思考过程,并且最终将三级漏斗用例模型间的联动通过平台化能力表达出来。


播放测试平台为播放业务提供一站式标准化测试能力,包括用例管理、测试计划、功能测试、冒烟播测、外网拨测、大剧保障、多端赋能等能力,支持用例的可视化开发,支持用例完整生命周期的实时监控,并提供详细和专业的结果分析和测试报告,通过播放测试平台实现了本地测试、冒烟播测、外网拨测用例的打通,用例流转示意如下:


系统设计

播放测试平台采用分层设计结构,以增强平台的水平扩展能力,基础服务层由设备资源管理、用例管理、用例模板管理、测试计划管理、运行管理、报告管理等模块组成:


  1. 设备资源管理:同步实验室以及外网测试设备资源信息,用例执行时指定相应测试设备;

  2. 用例管理:提供用例信息的维护及权限管理,除传统的代码开发模式外,支持可视化的组件开发模式;

  3. 用例模板管理:为每个 topic 通过用例模板,进一步减少用例开发的工作量;

  4. 测试计划管理:测试计划类似于测试套件,包含多个测试用例,测试计划有效覆盖各类测试场景;

  5. 运行管理:当某个测试用例在某台测试设备上执行时,平台均会创建唯一的运行实例,通过运行实例可以监控相应用例运行的整个生命周期;

  6. 报告管理:提供用例运行的详细信息,包括运行过程数据以及执行结果分析。

执行流程

  1. 用户可以在用例管理模块直接执行用例,执行用例后首先会调用 AFrameService,AFrameService 负责与任务调度平台通信,并发送用例执行信息,任务调度平台接受后转发至 AFrameServer,最后由 AFrameServer 驱动执行测试用例;

  2. AFrameServer 会将用例的实时执行状态回流至报告管理模块,用例执行结束后会把详细的执行结果回流至报告管理模块;

  3. 用户可以在用例管理模块创建测试计划,在测试计划管理模块执行测试计划,执行流程与在用例管理模块直接执行相同;

  4. 报告管理模块支持查询测试用例的运行过程数据以及测试结果分析。



五、总结 &展望


优酷播放测试平台实现了标准化的播放测试流程,有效降低了业务测试用例的开发复杂度,提高了用例的开发效率,规范了用例的管理和执行过程,实现了测试用例在不同环节的合理性流转,以及用例执行生命周期的实时监控和执行结果的可视化、透明化。


后续我们将在基于播放体验的策略质量洞察分析、动态的校验能力、智能化的用例推荐、用例膨胀等方面继续努力。


作者介绍


昙鸾,阿里文娱测试开发专家,庭婳,阿里文娱测试开发工程师。


2020-02-17 10:302170

评论 2 条评论

发布
用户头像
期待后续~
2020-02-17 18:10
回复
用户头像
沙发🛋
2020-02-17 11:22
回复
没有更多了
发现更多内容

Lightroom Classic 2022 for mac(Lrc中文版) 11.5完整激活版

mac

LRC2022 图像处理软件 苹果mac Windows软件 Lightroom Classic 2022

安全高效的政企内部通讯解决方案WorkPlus IM平台

WorkPlus

2023 KiCon Asia 11月12日 深圳见!

华秋电子

kicad

中国机械总院张红新:强化集团级数据治理 业财融合助力企业降本增效

用友BIP

业财融合 2023全球商业创新大会

好用的图书阅读器 OmniReader Pro激活中文版

胖墩儿不胖y

Mac软件 图书阅读工具 图书阅读

第一个程序:HelloWorld——IDEA 使用

小齐写代码

深入理解树状数组 | 京东物流技术团队

京东科技开发者

bit #数据结构 企业号10月PK榜 树状数组

WorkPlus即时通讯app打通业务与生态,实现高效管理与协同

WorkPlus

利用美国服务器增加线上业务的客户人群

一只扑棱蛾子

服务器 美国服务器

【数据库审计】2023年数据库审计厂家汇总

行云管家

数据库 数据库审计 等保合规

云管理平台基本功能有哪些?适配国产化平台吗?

行云管家

云计算 信创 国产化 云管平台 云管理

企业门户的必备选择,WorkPlus的定制化解决方案

WorkPlus

开源生态建设,正成为智能世界发展的关键

新消费日报

可视大盘+健康分机制,火山引擎DataLeap为企业降低资源优化门槛!

字节跳动数据平台

大数据 数据治理 成本治理 企业号9月PK榜

ABBYY FineReader PDF 15 Mac中文版(ocr文字识别软件)

晴雯哥

cad设计绘图软件:AutoCAD 2024最新版中文

mac大玩家j

CAD绘图 CAD设计 cad cad工具

优化模型之“显示置信度”

矩视智能

深度学习 机器视觉

小程序等轻应用技术是不是对企业有价值?

Onegun

小程序 轻应用

鲲鹏DevKit 23.0:流水线中便捷迭代鲲鹏版本,迁移、开发、调优无缝衔接

彭飞

JPEX事件对于香港加密货币发展的影响

区块链软件开发推广运营

数字藏品开发 dapp开发 区块链开发 链游开发 NFT开发

启动!中交集团携手用友搭建海外人力资源数智化平台

用友BIP

中企出海 数智人力

WorkPlus定制化的局域网会议软件,提供安全稳定的会议体验

WorkPlus

WorkPlus国产化即时通讯工具:安全可靠的国内沟通利器

WorkPlus

Java 21:虚拟线程介绍

这我可不懂

java 虚拟线程 java 21

MQ技术比较

周晓宁

亚马逊云科技2023柏林峰会主题演讲总结

亚马逊云科技 (Amazon Web Services)

Amazon AIGC

超越React,JS代码体积减少90%!它为何是2023年最好的Web框架?

互联网工科生

Vue React Web框架 Astro

百万架构师亲码的亿级流量下的分布式限流解决方案

小小怪下士

Java 程序员 高并发 秒杀

泰山众筹APP开发,泰山众筹商城开发

V\TG【ch3nguang】

用友全球司库十问(四)|企业如何实现融资债券数据信息的实时监控?

用友BIP

全球司库

API接口安全运营研究

Noah

API接口文档 API 安全 API接口安全

优酷播放测试体系构建及平台化整合方案_软件工程_阿里巴巴文娱技术_InfoQ精选文章