未来已来|人工智能与数据库融合发展分论坛议程初探 了解详情
写点什么

腾讯开源视频质量评估算法 DVQA,性能优于多项传统算法

  • 2020-03-11
  • 本文字数:1223 字

    阅读完需:约 4 分钟

腾讯开源视频质量评估算法DVQA,性能优于多项传统算法

近日,腾讯多媒体实验室设计的基于深度学习的全参考视频质量评估算法 DVQA 在 Github 上正式开源,该算法模型的性能目前在公开测试数据集上取得业界领先成绩。


开源地址:https://github.com/Tencent/DVQA


国内镜像地址(登录后才能访问公开项目):


https://git.code.tencent.com/Tencent_Open_Source/DVQA


视听时代,音视频应用越来越广泛:直播、短视频、视频节目、音视频通话……近期由于新冠疫情带来的在线协同办公、在线教育类产品的崛起,更带来了线上音视频需求的爆发,用户对音视频质量诉求也愈加强烈。


在整个视频链路中,大部分模块都可以精确度量,如采集、上传、预处理、转码、分发等。然而未知的部分却恰恰是最关键的部分,即用户的视频观看体验到底怎么样。


目前行业内的视频质量评估方法分为两大类:客观质量评估与主观质量评估。前者计算视频的质量分数,又根据是否使用高清视频做参考、源视频是专业视频还是用户原创视频等进一步细分;后者主要依赖人眼观看并打分,能够直观反映观众对视频质量的感受。然而,这些方法仍存在耗时费力、成本较高、主观观感存在偏差等难题。


腾讯多媒体实验室提出的视频质量评估解决方案,首先结合业务需求,使用“在线主观质量评测平台”,来构建大规模主观质量数据库,同时使用所收集的主观数据来训练基于深度学习的客观质量评估算法,最后把训练好的质量评估算法部署到业务线中,闭环监控可能存在的质量问题。从以上三个角度出发,DVQA 能够在兼顾不同业务、场景的前提下,满足效率与精度两大需求。


DVQA 包含多个质量评估算法模型,本次开源的是针对 PGC 视频的算法 C3DVQA。本项目使用 Python 开发,深度学习模块使用 PyTorch。代码使用模块化设计,方便集成较新的深度学习技术,灵活的自定义模型,训练和测试新的数据集。


在算法设计上,C3DVQA 所使用的网络结构如下图所示。其输入为损伤视频和残差视频。网络包含两层二维卷积来逐帧提取空域特征。级联后使用四层三维卷积层来学习时空联合特征。三维卷积输出描述了视频的时空掩盖效应,再使用它来模拟人眼对视频残差的感知情况:掩盖效应弱的地方,残差更容易被感知;掩盖效应强的地方,复杂的背景更能掩盖画面失真。



网络最后是池化层和全连接层。池化层的输入为残差帧经掩盖效应处理后的结果,它代表了人眼可感知残差。全连接层学习整体感知质量和目标质量分数区间的非线性回归关系。


在评测结果上,腾讯多媒体实验室在 LIVE 和 CSIQ 两个视频质量数据集上对所提出算法的性能进行验证。并使用标准的 PLCC 和 SROCC 作为质量准则来比较不同算法的性能。将所提出的 C3DVQA 与常用的全参考质量评估算法进行对比,包括 PSNR、MOVIE、ST-MAD、VMAF 和 DeepVQA,结果如下表所示。



(LIVE 和 CSIQ 两个数据库上不同全参考算法性能比较)


目前该评估算法已在腾讯内外部多款产品中进行使用验证,如腾讯会议就借助实验室上百个符合 ITU/3GPP/AVS 等国外内标准的指标进行评判,闭环监控全网的用户体验质量,从用户真实体验出发,不断优化产品性能。


公众号推荐:

AGI 概念引发热议。那么 AGI 究竟是什么?技术架构来看又包括哪些?AI Agent 如何助力人工智能走向 AGI 时代?现阶段营销、金融、教育、零售、企服等行业场景下,AGI应用程度如何?有哪些典型应用案例了吗?以上问题的回答尽在《中国AGI市场发展研究报告 2024》,欢迎大家扫码关注「AI前线」公众号,回复「AGI」领取。

2020-03-11 14:053298

评论

发布
暂无评论
发现更多内容

Python 的排序方法 sort 和 sorted 的区别

AlwaysBeta

Python

Kubernetes中API的不同版本, Alpha, Beta, Stable 都是什么?

工程师薛昭君

Kubernetes API

微服务架构下消息服务多通道设计思路

全象云低代码

微服务 低代码 后端开发 消息中间件 后端技术

企业如何挖掘知识“金矿”?这本白皮书讲得够透彻!

百度大脑

Go 中的空白标识符(下划线)

宇宙之一粟

Go 语言 3月月更

客户画像赋能百度推广生态实践

百度Geek说

前端 后端

Nginx限速模块初探

喀拉峻

nginx

手把手教你从Apk中取出算法

奋飞安全

android 安全 java

恒源云(GpuShare)_租卡怎么选?看这一篇就够了!

恒源云

人工智能 GPU服务器

浅谈信息熵在数字体验监控领域的应用

博睿数据

AI+遥感智能解译,赋能智慧城市规划革新

百度大脑

【愚公系列】2022年03月 Docker容器 Kafka集群的搭建

愚公搬代码

3月月更

错误码设计思考

木小风

Java 架构 错误码

自动化知识图谱表示:从三元组到子图

第四范式开发者社区

人工智能 自动化 知识图谱

从0到1落地电商小程序之微服务设计

晨亮

「架构实战营」

windows下C与C++执行cmd命令并实时获取输出

DS小龙哥

3月月更

无监控不运维—浅述各种监控方案使用场景

穿过生命散发芬芳

3月月更

java培训如何用反射做简易 Spring IOC 容器

@零度

Java springloc

详细的网站定制步骤有哪些?

源字节1号

网站开发 软件定制

加快云原生技术转型, 智能调度登陆华为云DevOps: 增速,节源

华为云开发者联盟

软件 DevOps 代码托管 智能调度 华为云DevOps

ABAP 文件上/下载

Jasen Ye

upload abap download template GRAPHICS

实践丨SpringBoot整合Mybatis-Plus项目存在Mapper时报错

华为云开发者联盟

spring 容器 Spring Boot 测试 Mybatis-Plus

Apache ShardingSphere 5.1.0 执行引擎性能优化揭秘

SphereEx

数据库 ShardingSphere SphereEx apache 社区

地狱开局的2022,穿好你的安全铠甲

脑极体

你的“数学潜意识”原来可以被唤醒!

博文视点Broadview

从HDFS的写入和读取中,我发现了点东西

华为云开发者联盟

hdfs HDFS写入 HDFS读取 文件读取

项目管理标准化的武林秘籍

大智若愚

团队管理 项目管理 标准化 软技能 标准框架

提升客户服务体验的技巧

小炮

客户服务 SaaS平台

治理有精度,AI赋智加强城市精细化管理

百度大脑

产品升级|1-2月合刊:多款重磅产品来袭

百度大脑

网络安全入门5天速成教程: WEB安全渗透攻防技术

网络安全学海

网络安全 安全 信息安全 渗透测试 WEB安全

腾讯开源视频质量评估算法DVQA,性能优于多项传统算法_大数据_腾讯多媒体实验室_InfoQ精选文章