限时领|《AI 百问百答》专栏课+实体书(包邮)! 了解详情
写点什么

腾讯开源视频质量评估算法 DVQA,性能优于多项传统算法

  • 2020-03-11
  • 本文字数:1223 字

    阅读完需:约 4 分钟

腾讯开源视频质量评估算法DVQA,性能优于多项传统算法

近日,腾讯多媒体实验室设计的基于深度学习的全参考视频质量评估算法 DVQA 在 Github 上正式开源,该算法模型的性能目前在公开测试数据集上取得业界领先成绩。


开源地址:https://github.com/Tencent/DVQA


国内镜像地址(登录后才能访问公开项目):


https://git.code.tencent.com/Tencent_Open_Source/DVQA


视听时代,音视频应用越来越广泛:直播、短视频、视频节目、音视频通话……近期由于新冠疫情带来的在线协同办公、在线教育类产品的崛起,更带来了线上音视频需求的爆发,用户对音视频质量诉求也愈加强烈。


在整个视频链路中,大部分模块都可以精确度量,如采集、上传、预处理、转码、分发等。然而未知的部分却恰恰是最关键的部分,即用户的视频观看体验到底怎么样。


目前行业内的视频质量评估方法分为两大类:客观质量评估与主观质量评估。前者计算视频的质量分数,又根据是否使用高清视频做参考、源视频是专业视频还是用户原创视频等进一步细分;后者主要依赖人眼观看并打分,能够直观反映观众对视频质量的感受。然而,这些方法仍存在耗时费力、成本较高、主观观感存在偏差等难题。


腾讯多媒体实验室提出的视频质量评估解决方案,首先结合业务需求,使用“在线主观质量评测平台”,来构建大规模主观质量数据库,同时使用所收集的主观数据来训练基于深度学习的客观质量评估算法,最后把训练好的质量评估算法部署到业务线中,闭环监控可能存在的质量问题。从以上三个角度出发,DVQA 能够在兼顾不同业务、场景的前提下,满足效率与精度两大需求。


DVQA 包含多个质量评估算法模型,本次开源的是针对 PGC 视频的算法 C3DVQA。本项目使用 Python 开发,深度学习模块使用 PyTorch。代码使用模块化设计,方便集成较新的深度学习技术,灵活的自定义模型,训练和测试新的数据集。


在算法设计上,C3DVQA 所使用的网络结构如下图所示。其输入为损伤视频和残差视频。网络包含两层二维卷积来逐帧提取空域特征。级联后使用四层三维卷积层来学习时空联合特征。三维卷积输出描述了视频的时空掩盖效应,再使用它来模拟人眼对视频残差的感知情况:掩盖效应弱的地方,残差更容易被感知;掩盖效应强的地方,复杂的背景更能掩盖画面失真。



网络最后是池化层和全连接层。池化层的输入为残差帧经掩盖效应处理后的结果,它代表了人眼可感知残差。全连接层学习整体感知质量和目标质量分数区间的非线性回归关系。


在评测结果上,腾讯多媒体实验室在 LIVE 和 CSIQ 两个视频质量数据集上对所提出算法的性能进行验证。并使用标准的 PLCC 和 SROCC 作为质量准则来比较不同算法的性能。将所提出的 C3DVQA 与常用的全参考质量评估算法进行对比,包括 PSNR、MOVIE、ST-MAD、VMAF 和 DeepVQA,结果如下表所示。



(LIVE 和 CSIQ 两个数据库上不同全参考算法性能比较)


目前该评估算法已在腾讯内外部多款产品中进行使用验证,如腾讯会议就借助实验室上百个符合 ITU/3GPP/AVS 等国外内标准的指标进行评判,闭环监控全网的用户体验质量,从用户真实体验出发,不断优化产品性能。


2020-03-11 14:053753

评论

发布
暂无评论
发现更多内容

读《第一次把事情做对》有感

孙叫兽

工作 引航计划 第一次 做对

2022eact面试题附答案

buchila11

React

Coffee架构实战 005 千万级学生管理系统的试卷存储方案

咖啡

「Python数据分析系列」1. 数据科学基本介绍

Databri_AI

Python 人工智能 数据分析

架构实战营模块9作业

zlz

工信部:六大措施推动区块链技术广泛应用

CECBC

使用Python实现视频Logo消除处理

老猿Python

音视频 Moviepy 引航计划 Python编程语言 视频剪辑处理

Opus从入门到精通(五)OggOpus封装器全解析

轻口味

音视频 9月日更

如何用研发效能搞垮一个团队

CODING DevOps

团队协作 研发效能 CIF 峰会

5分钟实现用docker搭建Redis集群模式和哨兵模式

Java redis 架构 分布式 后端

架构实战营-模块四-千万级学生管理系统考试试卷存储方案

娜酱

#架构实战营

C++后台开发—网络IO模型与Reactor模式

Linux服务器开发

reactor Linux服务器开发 C++后台开发 网络io IO模型

GraphQL 快速入门【5】GraphQL 示例

码语者

Rest graphql

公司应该如何招人?

石云升

团队管理 管理 引航计划 内容合集 9月日更

干货满满!龙蜥社区Meetup走进龙芯圆满结束,5大技术分享精彩回顾

OpenAnolis小助手

Linux 开源社区 国产操作系统 国产芯片

WebRTC如何在网页端添加硬水印

liuzhen007

音视频 引航计划 领航计划

开源应用中心|五分钟教你搭建一个基于Laravel开发博客的应用

开源 开源社区 开源软件

索信达:商业银行监管评级办法,新一代数据治理解决方案出炉

索信达控股

金融科技 数据治理 银行

从简历被拒,再到斩获阿里offer,这份PDF功不可没

Java 程序员 架构 编程语言

JVM g1 gc学习笔记一

风翱

GC 9月日更

成本直降50% | 阿里云发布云原生网关,开启下一代网关新进程

阿里巴巴云原生

阿里云 云原生 网关 升级

001云原生之概念

穿过生命散发芬芳

云原生 9月日更

一文教你全方位揭秘Ajax指南

孙叫兽

ajax 大前端 引航计划

音频和视频流最佳选择?SRT 协议解析及报文识别

声网

音视频 协议 流媒体开发

阿里云容器服务全面升级为 ACK Anywhere,让云的边界拓展至企业需要的每个场景

阿里巴巴云原生

阿里云 容器 云原生 ACK Anywhere

不愧是阿里Springboot项目笔记,在Github上已标星85.4K

Java 程序员 架构 后端 springboot

六面天猫,已拿offer,我的面经复盘总结,大厂真的有那么难进吗?

Java spring 架构 java面试

中国已进入财富6.0时代!数字人民币大爆发

CECBC

对象存储手把手教六 | CORS 入门讲解

QingStor分布式存储

【得物技术】深入理解synchronzied底层原理

得物技术

Java 原理 编译 synchronized 底层原理

源码大咖炼成记:阿里淘系技术专家首推《源码探索笔记》实属精品

Java 架构 面试 程序人生 编程语言

腾讯开源视频质量评估算法DVQA,性能优于多项传统算法_大数据_腾讯多媒体实验室_InfoQ精选文章