红帽白皮书新鲜出炉!点击获取,让你的云战略更胜一筹! 了解详情
写点什么

音视频质量评估绿皮书

  • 2019-08-26
  • 本文字数:1552 字

    阅读完需:约 5 分钟

音视频质量评估绿皮书

网络技术的升级使得市场上音视频类的产品形态越来越多,直播、短视频你方唱罢我登场。公司内也有多个专注于音视频技术、音视频产品服务的团队。音视频产品需要关注哪些质量控制点,如何评估音视频质量,笔者就在音视频实验室的几年工作经验进行介绍。欢迎相关团队同学互相探讨,共同成长。

不同场景下关注评估重点不同

音视频产品的评估涵盖多个维度,不同场景下的维度取舍存在较大的差别。目前市场上主流的音视频产品可以按应用场景分为如下几类(还有些小众产品,如会议类、投屏类没有列入在内)



特别说明,上述的划分也不是绝对的,有些会有交集,如直播里很多产品都有互动直播的能力,这一部分会与实时通话的场景相近。


对于这几类场景,从质量角度,虽然很多指标是通用的,但侧重点会有所不同。实时场景关注 E2E 传输质量(如时延)和信息可懂性,直播场景更关注主播上行网络抗性能力和观众体验(卡顿、音画是否同步),短视频会更多关注画质与用户体验,而长视频则会更关注转码质量及效率。这些的背后与产品的定位及所采用的技术密切相关。

音视频产品的质量关注点

通常音视频数据的加工流程可以概括为下图:



每个环节都有可能引入质量的损失,导致最终信息接收者观看到的内容变差(上面这种是流水线式处理,长短视频场景下数据生产和消费的环节是分开的,而且其中会有离线转码处理的环节,如多分辨率,HDR 等)。


我们可以针对每个环节进行测试,但产品质量更多的是这些环节的综合过程,所以从观众的角度来进行考虑效率会更高一些。以下罗列一些我们重点关注的质量维度:



按照现在比较流行的划分方法,这里按照用户是否可直接感知分为 QoE(Quality of Experience)与 Qos(Quality of Service)两个大的维度。


对于长视频产品,由于视频源一般为专业设备所拍摄,所以原始质量相对是非常高的,用户的槽点会集中在视频是否流畅,画质是否有瑕疵(花屏、马赛克),画质是否稳定(想像看视频时 480p 和 1080p 来回反复切换的状态);与长视频相比,由于视频内容多为用户普通终端拍摄,原始视频质量就会参差不齐了,需要借助算法提升质量,所以除了长视频的关注点外还需要关注清晰度等画质细节指标(特别说明一个常见的误区,清晰度不能等同于分辨率,高分辨率图像的清晰度未必比低分辨率高);互动直播和实时通话这种对时延敏感的产品,传输技术上一般是采用 UDP 或基于 UDP(如 Quic)的协议来进行,就容易产生音轨与视频轨不一致的问题,音画同步在这类场景下也一个很重要的质量指标。除此之外,音频下的杂音、破音、丢字、回声也都会严重影响用户体验的,一般产品都会进行 3A 处理模块,那么处理效果怎么样,也需要进行验证评估。(补充说明一下,音视频的 QoE 实际是一个相对复杂的范畴,我们只能从一些客观技术指标上进行评判。不同人群对于内容的喜好也会对 QoE 产生较大影响,这就更偏重于心理学问题了。)


除了用户体验之外,由于音视频的流量消耗、存储消耗与高 CPU 消耗的特点也决定我们要对这些通用性能指标进行关注。

音视频质量评估方法

音视频质量的测试,以开发角度来说,可以采取 LOG 埋点、虚拟机的方式来收集数据。但站在用户的角度,在集成测试阶段并不推崇这种方式,因为音视频业务对硬件的依赖可能会导致软件理论结果与产品现网实际表现存在较大差异。E2E 的验证更能有效说明产品质量。为了追求场景的无干扰性、模拟准确性、指标测量准确性,一致性。音视频实验室建立起一套相对完整的音视频测试能力体系。这些包括专业化实验室与商用设备。



也包括我们自研的一些方法,如《音画同步测试方法》,《视频卡顿测试方法》等。我这里对相关的指标的评估技术做一个简单的梳理:



作者介绍:


赵珺,腾讯音视频实验室高级工程师,曾参与 QQ 音视频通话、腾讯互动 SDK 等多个项目,在音视频产品质量评价体系建立和效率工程方面具有丰富经验。


2019-08-26 20:233669

评论

发布
暂无评论
发现更多内容

三月唯一一篇凉经奉上(Android 岗),成功跳槽阿里

android 程序员 移动开发

三面阿里被挂,内推历经5面终获offer,我总结出了这些Android常用面试题和常见问题

android 程序员 移动开发

不妨借一步说话,你想知道的关于设计模式的种种,移动智能终端的发展趋势

android 程序员 移动开发

不学了,不学了,不学Android了,当上项目经理才知道

android 程序员 移动开发

不要再焦虑了:BATJ大牛给程序员的价值百万的职业规划(18-35岁

android 程序员 移动开发

一道腾讯面试官指点:组件之间的跳转和组件通信原理机制

android 程序员 移动开发

百万大数据 5 期 - BSM -02 课作业

Clarke

三年开发经验,从小厂离职后,我凭什么拿到了阿里,作为一个Android开发者

android 程序员 移动开发

不愧是鹅厂,连面试算法题都是这样恐怖至极,已顺利OC,附赠课程+题库

android 程序员 移动开发

不懂源码、NDK,架构设计,2021最新Android笔经

android 程序员 移动开发

不明白四大组件底层的通信机制是怎样的?写给Android应用工程师的Binder原理剖析!

android 程序员 移动开发

一线大厂大型APP性能优化系列-自定义启动器(三),整理出Android逆向系列学习进阶视频

android 程序员 移动开发

不愧是阿里技术官,Android-Framework的精髓全写在这本“限量笔记

android 程序员 移动开发

专科毕业三年,从外包公司到今日头条offer,我想把面试心得分享给你

android 程序员 移动开发

一篇文章教你搞定内存泄漏与排查流程——安卓性能优化,20道高频面试题(含答案)

android 程序员 移动开发

一篇文章教你搞清楚——Kotlin-进阶---不变型,android开发框架mvp

android 程序员 移动开发

一键调用,Get Android 实现视频连麦直播的核心原理,kotlin常用高阶函数

android 程序员 移动开发

三年 Android 开发的技术人生,浅谈自身面试的感悟,华为架构师深入讲解Android开发

android 程序员 移动开发

三年备战阿里面试功亏一篑,失败是成功他妈,最终拼下美团Android开发

android 程序员 移动开发

一起来玩Weex,kotlin操作符重载

android 程序员 移动开发

实用函数式 Java (PFJ)简介

码语者

Java

三年Android开发却只有一年工作经验,是怎么收到offer的?

android 程序员 移动开发

三年磨一剑,这一次的金三银四打算离职的我准备好了,androidrom开发前景

android 程序员 移动开发

不愧是阿里技术官,Android-Framework的精髓全写在这本“限量笔记(1)

android 程序员 移动开发

一键登录了解一下?,揭秘

android 程序员 移动开发

三次失力美团Android 开发岗后,时隔一年终于成功拿下offer

android 程序员 移动开发

不要再焦虑了:BATJ大牛给程序员的价值百万的职业规划(18-35岁(1)

android 程序员 移动开发

构筑“数据连接器”,腾讯云大数据推出“开源开放”战略

科技热闻

腾讯云李纲:国产数据库即将进入规模化阶段,未来五年助力1000家金融机构完成核心国产化

科技热闻

一篇文章教你读懂UI绘制流程我的Android重构之旅:框架篇

android 程序员 移动开发

三面字节跳动被虐得“体无完肤”,为什么spring能最好地改变Android

android 程序员 移动开发

音视频质量评估绿皮书_大前端_赵珺_InfoQ精选文章