未来已来|人工智能与数据库融合发展分论坛议程初探 了解详情
写点什么

腾讯多媒体实验室开源国内首个视频质量评估算法 DVQA

  • 2020-04-08
  • 本文字数:1232 字

    阅读完需:约 4 分钟

腾讯多媒体实验室开源国内首个视频质量评估算法DVQA

视听时代,音视频应用越来越广泛:直播、短视频、视频节目、音视频通话……近期由于新冠疫情带来的在线协同办公、在线教育类产品的崛起,更带来了线上音视频需求的爆发,用户对音视频质量诉求也愈加强烈。


在整个视频链路中,大部分模块都可以精确度量,如采集、上传、预处理、转码、分发等。然而未知的部分却恰恰是最关键的部分,即用户的视频观看体验到底怎么样。目前行业内的视频质量评估方法分为两大类:客观质量评估与主观质量评估。前者计算视频的质量分数,又根据是否使用高清视频做参考、源视频是专业视频还是用户原创视频等进一步细分;后者主要依赖人眼观看并打分,能够直观反映观众对视频质量的感受。然而,这些方法仍存在耗时费力、成本较高、主观观感存在偏差等难题。


多媒体实验室提出的视频质量评估解决方案,首先结合业务需求,使用“在线主观质量评测平台”,来构建大规模主观质量数据库,同时使用所收集的主观数据来训练基于深度学习的客观质量评估算法,最后把训练好的质量评估算法部署到业务线中,闭环监控可能存在的质量问题。从以上三个角度出发,DVQA 能够在兼顾不同业务、场景的前提下,满足效率与精度两大需求。


DVQA 包含多个质量评估算法模型,本次开源的是针对 PGC 视频的算法 C3DVQA。本项目使用 Python 开发,深度学习模块使用 PyTorch。代码使用模块化设计,方便集成较新的深度学习技术,灵活的自定义模型,训练和测试新的数据集。


在算法设计上,C3DVQA 所使用的网络结构如下图所示。其输入为损伤视频和残差视频。网络包含两层二维卷积来逐帧提取空域特征。级联后使用四层三维卷积层来学习时空联合特征。三维卷积输出描述了视频的时空掩盖效应,再使用它来模拟人眼对视频残差的感知情况:掩盖效应弱的地方,残差更容易被感知;掩盖效应强的地方,复杂的背景更能掩盖画面失真。



网络最后是池化层和全连接层。池化层的输入为残差帧经掩盖效应处理后的结果,它代表了人眼可感知残差。全连接层学习整体感知质量和目标质量分数区间的非线性回归关系。


在评测结果上,腾讯多媒体实验室在 LIVE 和 CSIQ 两个视频质量数据集上对所提出算法的性能进行验证。并使用标准的 PLCC 和 SROCC 作为质量准则来比较不同算法的性能。将所提出的 C3DVQA 与常用的全参考质量评估算法进行对比,包括 PSNR,MOVIE,ST-MAD,VMAF 和 DeepVQA,结果如下表所示。



(LIVE 和 CSIQ 两个数据库上不同全参考算法性能比较)


目前该评估算法已在腾讯内外部多款产品中进行使用验证,如腾讯会议就借助实验室上百个符合 ITU/3GPP/AVS 等国外内标准的指标进行评判,闭环监控全网的用户体验质量,从用户真实体验出发,不断优化产品性能。


作为最早布局音视频领域的公司之一,从最早的 QQ 平台,腾讯就试图解决在当年网络条件下若干的音视频通信问题。伴随着 5G、云计算、大数据、人工智能技术的发展,腾讯多媒体实验室基于多年的技术沉淀和行业经验,逐步打磨出一条完善且高质量的音视频技术链条。


本文转载自 腾讯多媒体实验室 公众号。


原文链接: 腾讯多媒体实验室


2020-04-08 17:231923

评论

发布
暂无评论
发现更多内容

企业在运营过程中需要解决的五项网络安全项目

九河云安全

高防服务器大数据时代下的最佳应用途径

九河云安全

贡献者,是衡量开源项目的金指标

API7.ai 技术团队

开源 网关 APISIX

知乎李大海对话阿里云贾扬清:透视AI应用难题与未来趋势

阿里云大数据AI技术

差点跳起来了!全靠这份999页Java面试宝典,我刚拿到美团offer

Java~~~

Java 架构 面试 微服务 多线程

跨链治理之入门三问 :WHO WHAT HOW

趣链科技

区块链 治理机制

直击美团“远程面试”现场,面试官竟反问:你真懂数据库事务吗?

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

c++ 构造函数详解

若尘

c++ 构造函数 8月日更

阿里(钉钉部门)远程面,三面坐上“直通车”,拿下offer没问题

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

读完这份JVM高级笔记,彻底玩转Java虚拟机,面试再也不用“虚”

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

FastApi-11-模板渲染

Python研究所

FastApi 8月日更

跟我读论文丨ACL2021 NER BERT化隐马尔可夫模型用于多源弱监督命名实体识别

华为云开发者联盟

BERT 弱监督 隐马尔可夫 CHMM HMM模型

拒绝内卷!Github连夜封杀的阿里全套Spring Security高级笔记

Java 编程 架构 面试 程序人生

大数据集群跨多版本升级、业务0中断,只因背后有TA

华为云开发者联盟

大数据 FusionInsight

高防云服务器服务器的价值会随着时间而扩展,从"成本效率"扩展到"新服务和技术"

九河云安全

Go 效率工具集合

潇洒哥 - 老苗

Go 语言

2年5个月13天,从外包到拿下阿里offer,没想到屌丝也能有今天

Java~~~

Java spring 架构 面试 微服务

闭关修炼21天,“啃完”283页pdf,我终于4面拿下字节跳动offer

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

当容器应用越发广泛,我们又该如何监测容器?

阿里巴巴云原生

云计算 容器 云原生 监控 中间件

高防服务器,企业成长安全控制有效性的关键工具

九河云安全

数据中台——数据汇聚存储技术解析

用友BIP

数据中台 数据存储

5招教你实现多线程场景下的线程安全

华为云开发者联盟

Java 线程 多线程 线程安全

想聊天?自己搭建个聊天机器人吧!

百度开发者中心

人工智能 最佳实践 方法论 飞桨 语言 & 开发

1年半经验,2本学历,Curd背景,竟给30K,我的美团Offer终于来了

Java~~~

Java 架构 面试 微服务 多线程

某离散制造行业龙头客户“主数据管理平台”建设分享

用友BIP

主数据管理

云计算运维与传统运维工作有啥不同?需要什么资质?

行云管家

云计算 服务器 IT运维 云计算运维

耗时3年,从小厂逆袭,坐上美团L8技术专家(面经+心得)

Java 编程 程序员 架构 面试

数据库的简述与常用操作指南

行者AI

数据库

测试开发之系统篇-Docker容器安装

禅道项目管理

Docker 测试开发

YYDS《剑指Offer》再续新篇,百万程序员人手一册

博文视点Broadview

数据中台为什么要建标签体系,分类它不香吗?

用友BIP

数据中台 标签体系

腾讯多媒体实验室开源国内首个视频质量评估算法DVQA_开源_腾讯多媒体实验室_InfoQ精选文章