写点什么

基于三维卷积神经网络的全参考视频质量评估算法(三)

  • 2020-01-17
  • 本文字数:1060 字

    阅读完需:约 3 分钟

基于三维卷积神经网络的全参考视频质量评估算法(三)

结果

我们在 LIVE 和 CSIQ 两个视频质量数据集上对所提出算法的性能进行验证。LIVE 数据库包含 10 个参考视频和对应每个参考视频的 15 个失真视频。CSIQ 数据集包含 12 个源视频和相对应的 18 个失真视频。我们使用标准的 PLCC 和 SROCC 作为质量准则来比较不同算法的性能。


因为这两个数据库相对较小,我们参考另外一片深度学习文章[10]的做法,每次随机抽取 80%的参考视频和由它们所得到的失真视频作为测试集。我们重复了 20 次这样的数据集划分并且每次都从头开始训练模型。具体质量评估的散点图如图 5 所示。


图 5 质量估计结果散点图,每一个点代表一个待测视频。其中 Y 轴为估计视频质量,X 轴为主观打分结果,左图为 LIVE 上测试结果,右图为 CSIQ 上测试结果。


我们与常用的全参考质量评估算法进行了对比,比较的算法包括 PSNR,MOVIE[ 11],ST-MAD [12],VMAF 和 DeepVQA [10]。每次测试都会得到一个 PLCC 和 SROCC,下表中我们使用多次实验结果的中值来代表最终性能。


我们可以清楚的看到本文所设计的算法 C3DVQA 在两个数据库上均大幅领先 PSNR,MOVIE,ST-MAD,VMAF 等传统算法。值得一提的是 DeepVQA 也是一个基于深度学习的算法,也取得了不错的性能。我们把这些性能提提升归结为两方面的原因,1)使用 CNN 来学习质量相关特征要优于传统的特征提取算法;2)DeepVQA 和 C3DVQA 均学习视频的时空联合特征,显性的利用运动信息更能刻画视频质量。



表一 LIVE 和 CSIQ 两个数据库上不同全参考算法性能比较

总结

本文简要回顾了目前学术界和工业界视频质量评估方向的发展状况。处于复杂度考虑,工业界仍倾向于使用复杂度较低的基于图像质量评估的方案。但是这样做的缺陷就是不能不能把视频作为一个整体来学习时空特性,尽管结果差强人意,也算是性能与复杂度很好的折中。


我们提出了一种基于三维卷积神经网络的全参考算法。通过学习视频的时空联合特征,能更好的解决运动信息丢失问题。相对于传统特征提取算法,我们的算法能大幅度的提升准确度。


当然,这一切才刚刚开始,还有很多工作需要补充。我们想要详细的复杂度分析,特别是在没有 GPU 可用的场景。我们也想知道所训练的算法在其它数据库上的性能,而且不仅仅局限于 PGC 视频,也包括 UGC 视频。


好消息是我们有计划对业界开源模型训练代码,这样能方便所有人去使用自己的数据库训练测试特定视频业务场景。同时,我们也欢迎任何形式的协同开发,不管是贡献数据库,还是贡献预训练模型,甚至是抛出业务场景中所遇到的问题。


本文转载自 腾讯多媒体实验室公众号。


原文链接:https://mp.weixin.qq.com/s/Kk7J8dLMhHbhksxMumHuwA


2020-01-17 18:051227

评论

发布
暂无评论
发现更多内容

为AI跨越 写在HDD迈向11碟的时代

极客天地

中国AI长卷(四):行业旷野

脑极体

AI

AI口语练习APP的功能测试

北京木奇移动技术有限公司

软件外包公司 AI口语练习 AI口语测试

音乐创作软件 Ableton Live 12 Suite许可证密钥分享-Mac/win

Rose

SPC统计过程管理系统(源码+文档+部署+讲解)

深圳亥时科技

2025年企业必备的 6 款员工管理工具推荐

NocoBase

开源 AI HR 员工管理系统 员工管理

AI口语练习APP的场景测试

北京木奇移动技术有限公司

软件外包公司 AI口语练习 AI英语学习

FeelYourSound HipHopEngine Pro for mac(创作专业的嘻哈和 Trap 音乐)

Rose

ACDSee Photo Studio 8:专业数字影像处理新标杆

Rose

怎么制作产品原型?产品经理常用的5款原型工具盘点!

职场工具箱

产品经理 在线白板 办公软件 绘图工具 产品原型设计工具

数据分析和AI丨拒绝AI技术焦虑,工程领域AI应用的八大技巧

Altair RapidMiner

机器学习 AI 数据分析 知识图谱 制造

React Native 0.77发布,新样式特性,Android 16KB页面支持,Swift模板

凌宇之蓝

React Native

我国数字经济规模不断稳定增长

芯盾时代

数字经济 数字安全

塑胶行业生产管理智能化转型

万界星空科技

制造业 mes 万界星空科技 塑胶地板行业 塑胶行业

打造高效电商解决方案:淘宝API集成开发指南(商品详情速览与关键词搜索优化,支持高并发,助力自营商城快速上架)

代码忍者

淘宝API接口

研发效率低下?试试这些改进方法

敏捷开发

程序员 敏捷开发 研发效能 企业管理 职场成长

Byteman 使用指南(二)

FunTester

项目报告应包含哪些基本要素

易成研发中心

项目管理 项目报告

想找类似 Microsoft Project 的免费工具?这7款不容错过

易成研发中心

项目管理 项目管理工具 项目管理软件

中昊芯英荣登2024“德勤中国高科技高成长50强” 榜单榜首,近三年收入增长率达3534%

科技热闻

GForce Bass Station for mac(合成器插件) v1.0.0激活版

Rose

VNC Server for Mac:高效便捷的远程桌面管理解决方案

Rose

基于三维卷积神经网络的全参考视频质量评估算法(三)_文化 & 方法_腾讯多媒体实验室_InfoQ精选文章