AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

腾讯多媒体实验室:以提升用户体验为目的,构建音视频质量评估体系

  • 2019-11-12
  • 本文字数:1943 字

    阅读完需:约 6 分钟

腾讯多媒体实验室:以提升用户体验为目的,构建音视频质量评估体系

11 月 6 日至 7 日,首届 Techo 开发者大会在北京召开,在音视频及通信分论坛上,腾讯多媒体实验室专家研究员王海强发表了题为《视频业务中的主客观质量评估》的演讲,在当前音视频发展风口下,介绍了视频质量评估的主客观方法、应用场景,并提出了建立在算法基础上的主客观视频质量评测平台及其在业务线中的应用。


Techo 开发者大会是由腾讯云发起的面向全球开发者和技术爱好者的年度盛会,作为一个专注于前沿技术研讨的非商业大会,大会致力于开发者的能力成长和实践创新,旨在通过汇聚全球顶尖行业专家和技术爱好者,搭建一个开放、中立、活跃的技术交流平台。本届 Techo 大会邀请了海内外 150 位行业专家围绕前沿技术发展进行解读,聚集了 5000 名开发者参与技术交流和探讨。



(腾讯多媒体实验室专家研究员 王海强)

质量评估应侧重“人眼感知”质量

视听时代,音视频应用越来越广泛:直播、短视频,视频节目、音视频通话……在万物诉诸音视频的互联网时代,用户对音视频质量诉求也愈加强烈。为提高音画质量,基础性工程便是建立行业评估体系,用评测标准对音视频技术和产品进行“打分”。然而,目前音视频质量评估领域仍存在门槛成本较高、主观观感存在偏差等难题。


王海强在演讲中介绍了主客观质量评估方法,普及了两者在 PGC/UGC 业务中的应用,并针对评估标准这一终极准则问题,介绍了多媒体实验室的自研算法和解决方案。


据王海强介绍,目前视频质量评估方法分为两大类:客观质量评估与主观质量评估。前者计算视频的质量分数,又根据是否使用高清视频做参考、视频质量是否与失真程度成单调关系等进一步细分;后者依赖人眼观看并打分,能够直观反映观众对视频质量的感受。


目前,视频质量评测标准并不统一,常规做法是使用开源模型 VMAF 来做 PGC 视频的质量把控,而对 UGC 视频,只能依赖于开发人员观看视频来定位、解决质量问题。王海强认为,视频质量评估的目标是“致力于评估视频的人眼感知质量”,即通过通用的、准确的、公平的测试能力与测试方法论,尽可能选择最可靠的技术方案,以客观与主观评测相结合的方式,达到最接近人眼感知的质量效果。


然而,主观测试极其耗费人力和时间,整体效率较低,把所有质量问题都诉诸于主观测试是不现实的。与其完全追求主观测试的完美性,不如以“主观质量”为目的,通过基于深度学习的客观音视频质量评估算法,进行端到端的音视频质量评估,从而逼近人眼观看的体验效果。


对此,王海强介绍了多媒体实验室的质量评估解决方案:一是结合业务需求,使用“在线主观质量评测平台”,来构建大规模主观质量数据库;二是使用所收集的主观数据来训练基于深度学习的客观质量评估算法;三是部署训练好的质量评估算法到业务线中,闭环监控可能存在的质量问题。从以上三角度出发,音视频质量评估能够在兼顾不同业务、场景的前提下,满足效率与精度两大需求。

腾讯多媒体实验室:以用户体验为最终目的

王海强所介绍的“在线主观质量评测平台”,便是腾讯多媒体实验室在音视频评估领域的落地产品——腾讯多媒体实验室视频质量评测平台。目前,这一平台不仅能够完成基于人眼的视频质量评测,模拟人耳的音频质量评测,还能够在音频的声学指标、网络指标及物理环境下对信号的主观质量进行全面详细的评估,适应了不同环境下的差异化测评场景。


同时,多媒体实验室开发了基于深度学习的全参考/无参考质量评估算法。依托主观测试平台快速构建大规模视频数据库的能力,多媒体实验室收集了数百万次的视频质量打分,训练了基于深度学习的全参考和无参考质量评估算法。两个算法在公开数据集上均取得了领先业界的性能。王海强提到多媒体实验室会在近期内把算法开源,进一步促进行业的发展。


除满足单个评估需求外,视频质量评估还将在业务线中进一步发挥作用。王海强认为,在业务线中引入视频质量评估后,将改变以往被动发现质量问题、进行人工检查的状况,变被动为主动,变人工为智能,利用 AI 进行预防性质量监控,并通过算法迭代不断实现系统优化,同时,评估系统的优化又会进一步反哺业务线的优化。


在当前音视迎来发展风口之时,腾讯多媒体实验室不仅使非专业团队能够快速、准确的完成评估需求,还通过一系列尝试,推动了音视频质量评测标准的讨论。近 50 项提案被下一代视频编码标准 VVC/H.266 采纳。此外,在虚拟现实(VR)、点云(PCC)、网络传输协议 (DASH)、多媒体系统(OMAF、CMAF、NBMP)等相关多媒体标准中也取得了突破性进展,获得多项标准核心专利,多名团队成员在多个全球标准组织担任董事、编辑、领域主席等重要席位。与此同时,多媒体实验室也大力投入国家自主标准建设,针对国家标准 AVS3 进行了相关布局,成为国际行业标准不可忽视的影响者和领导者。


未来,腾讯多媒体实验室也将投入更多技术与实践,带头制定行业规则,不断提升用户视听体验。


2019-11-12 19:591675

评论

发布
暂无评论
发现更多内容

NLP随笔(二)

毛显新

人工智能 自然语言处理 深度学习

拼拼有礼系统软件开发案例介绍

開發15347427695

请珍惜每一次被 Code Review 的机会

escray

学习 极客时间 朱赟的技术管理课 8月日更

打造区块链“三大平台” 助推数字化转型

CECBC

ClickHouse存储原理初窥

循环智能

性能优化 OLAP Clickhouse

如何用Camtasia进行内容补充?

淋雨

Camtasia

详解Guitar Pro的自动化编辑器之节拍自动化

懒得勤快

拼拼有礼模式系统开发详解APP

開發15347427695

Express Flutter SDK 全面支持空安全

ZEGO即构

flutter 大前端 音视频 空安全

应届生如何拿到高薪和职业方向

hanaper

编程 程序员 音视频 软件工程师 应届生

用好这两个小工具,制作乐谱更高效!

懒得勤快

赋能后疫情时代的商业创新,用友BIP的力量

海比研究院

我国数字经济规模已达41万亿元 总量跃居世界第二

CECBC

【案例】服务邮政快递业安全监管 星环科技助力国家邮政局“绿盾”大数据平台建设

星环科技

ApacheCon Asia 2021: Apache APISIX 技术议题一览

API7.ai 技术团队

Apache 开源 网关 APISIX

Java程序员面试需要准备的一些东西

北游学Java

Java 面试

阿里高工从入门,基础,进阶到项目实战,全面讲解spring boot

Java 程序员 架构 面试 spring Boot Starter

他是如何被公司辞退,再到1000个小时后拿到阿里巴巴offer的?

Java架构师迁哥

鬼斧神工!阿里架构师把多线程编程精华全部总结到这份《Java并发手册》里面了

Java 编程 架构 面试 计算机

下午4点半,浪潮云说直播间精彩继续

云计算

Snowflake如日中天是否代表Hadoop已死?大数据体系到底是什么?

阿里云大数据AI技术

使用SpringAop对方法进行增强

捡对象的cy

spring aop

AI系统中的偏差与偏见

百度开发者中心

AI 最佳实践 方法论 系统开发 语言 & 开发

Vue进阶(一):Vue 学习资料汇总

No Silver Bullet

Vue 8月日更

格物致知,零代码训练营第三期顺利结业

明道云

Android技术分享| 实现视频连麦直播

anyRTC开发者

android 音视频 移动开发 视频直播 视频连麦

工作中如何使用GULP构建项目?

加百利

JavaScript 大前端 8月日更 gulp

大数据训练营hive作业

Clarke

客户选型零代码软件到底在对比哪些方面?

明道云

【IT运维】快速解决IT疑难故障就用行云管家!

行云管家

系统运维 堡垒机 IT运维

Vue进阶(二):Vue 项目文件结构介绍

No Silver Bullet

Vue 8月日更 项目结构

腾讯多媒体实验室:以提升用户体验为目的,构建音视频质量评估体系_服务革新_云加社区_InfoQ精选文章