写点什么

基于三维卷积神经网络的全参考视频质量评估算法(三)

  • 2020-01-17
  • 本文字数:1060 字

    阅读完需:约 3 分钟

基于三维卷积神经网络的全参考视频质量评估算法(三)

结果

我们在 LIVE 和 CSIQ 两个视频质量数据集上对所提出算法的性能进行验证。LIVE 数据库包含 10 个参考视频和对应每个参考视频的 15 个失真视频。CSIQ 数据集包含 12 个源视频和相对应的 18 个失真视频。我们使用标准的 PLCC 和 SROCC 作为质量准则来比较不同算法的性能。


因为这两个数据库相对较小,我们参考另外一片深度学习文章[10]的做法,每次随机抽取 80%的参考视频和由它们所得到的失真视频作为测试集。我们重复了 20 次这样的数据集划分并且每次都从头开始训练模型。具体质量评估的散点图如图 5 所示。


图 5 质量估计结果散点图,每一个点代表一个待测视频。其中 Y 轴为估计视频质量,X 轴为主观打分结果,左图为 LIVE 上测试结果,右图为 CSIQ 上测试结果。


我们与常用的全参考质量评估算法进行了对比,比较的算法包括 PSNR,MOVIE[ 11],ST-MAD [12],VMAF 和 DeepVQA [10]。每次测试都会得到一个 PLCC 和 SROCC,下表中我们使用多次实验结果的中值来代表最终性能。


我们可以清楚的看到本文所设计的算法 C3DVQA 在两个数据库上均大幅领先 PSNR,MOVIE,ST-MAD,VMAF 等传统算法。值得一提的是 DeepVQA 也是一个基于深度学习的算法,也取得了不错的性能。我们把这些性能提提升归结为两方面的原因,1)使用 CNN 来学习质量相关特征要优于传统的特征提取算法;2)DeepVQA 和 C3DVQA 均学习视频的时空联合特征,显性的利用运动信息更能刻画视频质量。



表一 LIVE 和 CSIQ 两个数据库上不同全参考算法性能比较

总结

本文简要回顾了目前学术界和工业界视频质量评估方向的发展状况。处于复杂度考虑,工业界仍倾向于使用复杂度较低的基于图像质量评估的方案。但是这样做的缺陷就是不能不能把视频作为一个整体来学习时空特性,尽管结果差强人意,也算是性能与复杂度很好的折中。


我们提出了一种基于三维卷积神经网络的全参考算法。通过学习视频的时空联合特征,能更好的解决运动信息丢失问题。相对于传统特征提取算法,我们的算法能大幅度的提升准确度。


当然,这一切才刚刚开始,还有很多工作需要补充。我们想要详细的复杂度分析,特别是在没有 GPU 可用的场景。我们也想知道所训练的算法在其它数据库上的性能,而且不仅仅局限于 PGC 视频,也包括 UGC 视频。


好消息是我们有计划对业界开源模型训练代码,这样能方便所有人去使用自己的数据库训练测试特定视频业务场景。同时,我们也欢迎任何形式的协同开发,不管是贡献数据库,还是贡献预训练模型,甚至是抛出业务场景中所遇到的问题。


本文转载自 腾讯多媒体实验室公众号。


原文链接:https://mp.weixin.qq.com/s/Kk7J8dLMhHbhksxMumHuwA


2020-01-17 18:051172

评论

发布
暂无评论
发现更多内容

How to Connect 2 Cisco Switches Together

心在飞

《Redis 核心技术与实战》学习笔记 06

escray

redis 学习 28天写作 3月日更 Redis 核心技术与实战

JVM - GC 问题分析常用两大指标

insight

3月日更

字符编码,原来是SQL不走索引的元凶之一!

Java小咖秀

MySQL 程序员 开发 bug 细节

uni-app跨端开发H5、小程序、IOS、Android(五):uni-app数据绑定

黑马腾云

html5 微信小程序 uni-app iOS Developer 3月日更

树集合总结

我是程序员小贱

3月日更

产品经理面试常见问题总结2

lenka

3月日更

Ubuntu 日常使用问题及解决

依旧廖凯

28天写作 3月日更

与前端训练营的日子 -- Week20

SamGo

学习

Swagger增强神器:Knife4j!用它轻松实现接口搜索、Word下载、接口过滤...

王磊

Java swagger Knife4j

找到适合自己的睡眠方案

石云升

生活方式 28天写作 睡眠 3月日更

线上问题的一点反思

风翱

复盘 3月日更 线上问题

主流分布式文件系统总结

跳蚤

登陆用户身份获取

程序员架构进阶

架构设计 认证授权 28天写作 3月日更

ES6中的新特性:Iterables和iterators

程序那些事

nodejs ES6 程序那些事

在深圳,看见大鲸跃起的浪潮

工业互联网

Wireshark数据包分析学习笔记Day18

穿过生命散发芬芳

Wireshark 数据包分析 3月日更

开源与商业产品

ES_her0

3月日更

寻找被遗忘的勇气(二十一)

Changing Lin

3月日更

基于数组或链表实现Map

Silently9527

数据结构和算法

在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?

跳蚤

第11周课后练习-安全稳定

潘涛

架构师训练营 4 期

javax.imageio.IIOException: Unsupported Image Type

wjchenge

Gradle无法访问Nexus私服仓库-offline

wjchenge

翻译:《实用的Python编程》07_02_Anonymous_function

codists

Python

mybatis 添加日志功能

xiezhr

mybatis 日志

翻译:《实用的Python编程》07_03_Returning_functions

codists

Python

思呓(2)

型火🔥

学习 架构 分布式 解耦

深入剖析 | Java16语法特性

九叔(高翔龙)

Java 架构

MongoDB中的正则表达式

Kylin

mongodb 3月日更 21天挑战

宣传

Ashley.

基于三维卷积神经网络的全参考视频质量评估算法(三)_文化 & 方法_腾讯多媒体实验室_InfoQ精选文章