写点什么

基于三维卷积神经网络的全参考视频质量评估算法(三)

  • 2020-01-17
  • 本文字数:1060 字

    阅读完需:约 3 分钟

基于三维卷积神经网络的全参考视频质量评估算法(三)

结果

我们在 LIVE 和 CSIQ 两个视频质量数据集上对所提出算法的性能进行验证。LIVE 数据库包含 10 个参考视频和对应每个参考视频的 15 个失真视频。CSIQ 数据集包含 12 个源视频和相对应的 18 个失真视频。我们使用标准的 PLCC 和 SROCC 作为质量准则来比较不同算法的性能。


因为这两个数据库相对较小,我们参考另外一片深度学习文章[10]的做法,每次随机抽取 80%的参考视频和由它们所得到的失真视频作为测试集。我们重复了 20 次这样的数据集划分并且每次都从头开始训练模型。具体质量评估的散点图如图 5 所示。


图 5 质量估计结果散点图,每一个点代表一个待测视频。其中 Y 轴为估计视频质量,X 轴为主观打分结果,左图为 LIVE 上测试结果,右图为 CSIQ 上测试结果。


我们与常用的全参考质量评估算法进行了对比,比较的算法包括 PSNR,MOVIE[ 11],ST-MAD [12],VMAF 和 DeepVQA [10]。每次测试都会得到一个 PLCC 和 SROCC,下表中我们使用多次实验结果的中值来代表最终性能。


我们可以清楚的看到本文所设计的算法 C3DVQA 在两个数据库上均大幅领先 PSNR,MOVIE,ST-MAD,VMAF 等传统算法。值得一提的是 DeepVQA 也是一个基于深度学习的算法,也取得了不错的性能。我们把这些性能提提升归结为两方面的原因,1)使用 CNN 来学习质量相关特征要优于传统的特征提取算法;2)DeepVQA 和 C3DVQA 均学习视频的时空联合特征,显性的利用运动信息更能刻画视频质量。



表一 LIVE 和 CSIQ 两个数据库上不同全参考算法性能比较

总结

本文简要回顾了目前学术界和工业界视频质量评估方向的发展状况。处于复杂度考虑,工业界仍倾向于使用复杂度较低的基于图像质量评估的方案。但是这样做的缺陷就是不能不能把视频作为一个整体来学习时空特性,尽管结果差强人意,也算是性能与复杂度很好的折中。


我们提出了一种基于三维卷积神经网络的全参考算法。通过学习视频的时空联合特征,能更好的解决运动信息丢失问题。相对于传统特征提取算法,我们的算法能大幅度的提升准确度。


当然,这一切才刚刚开始,还有很多工作需要补充。我们想要详细的复杂度分析,特别是在没有 GPU 可用的场景。我们也想知道所训练的算法在其它数据库上的性能,而且不仅仅局限于 PGC 视频,也包括 UGC 视频。


好消息是我们有计划对业界开源模型训练代码,这样能方便所有人去使用自己的数据库训练测试特定视频业务场景。同时,我们也欢迎任何形式的协同开发,不管是贡献数据库,还是贡献预训练模型,甚至是抛出业务场景中所遇到的问题。


本文转载自 腾讯多媒体实验室公众号。


原文链接:https://mp.weixin.qq.com/s/Kk7J8dLMhHbhksxMumHuwA


2020-01-17 18:051166

评论

发布
暂无评论
发现更多内容

流动性挖矿开发模式,方案设计

Geek_232be3

流动性挖矿

利用云效创建代码仓库,免费还方便

阿里云云效

git 云计算 阿里云 代码仓库 Codeup

架构实战营作业一

热猫

架构

加盟24小时共享自助洗车怎么样?

共享电单车厂家

自助洗车机 自助洗车 24小时共享自助洗车 24小时无人自助洗车 自助洗车加盟

数字孪生PaaS平台WDP4.3正式发布!三大升级,让开发更简单

Meta 小元

云原生 智慧城市 数字孪生

BookKeeper PMC 成员翟佳受邀参与DataFunSummit 大数据存储架构峰会

Apache Pulsar

开源 架构 云原生 bookKeeper Apache Pulsar

多云管理需求分析与好用的工具介绍

行云管家

云计算 混合云 多云 云管理

流动性挖矿APP系统开发介绍模式

Geek_232be3

LIP流动性挖矿

USB DDK助你轻松实现HarmonyOS USB驱动开发

HarmonyOS开发者

HarmonyOS 驱动框架

Flink Next:Beyond Stream Processing

Apache Flink

大数据 flink 编程 流计算 实时计算

【等保】二级等保是什么意思?哪些企业要做?多少钱?

行云管家

网络安全 等保 二级等保

瞄准程序员招聘痛点,ShowMeBug让面试代码操作可“回放”

ShowMeBug

如何实现一个支持分级数据统计的增强型透视图

明道云

澳鹏数据标注平台MatrixGo加速人工智能落地

澳鹏Appen

人工智能 数据标注 训练数据

NFT元宇宙开发Defi模式NFT游戏开发DAPP

Geek_232be3

区块链 NFT生态链游

全托管云原生 MQTT 消息服务 EMQX Cloud 版本更新,助力开展更加安全灵活的物联网业务

EMQ映云科技

物联网 IoT mqtt emq 3月月更

共享洗车机设备多少钱一台?贵不贵

共享电单车厂家

共享洗车机设备 自助洗车机多少钱 自助洗车机价格

王者荣耀商城异地多活架构设计

王大胖

设计模式—代理模式以及动态代理的实现

Linux服务器开发

c++ 设计模式 后端开发 Linux服务器开发 Linux后台开发

适创科技以云仿真平台,支持“中国智造”升级

阿里云弹性计算

仿真 高性能计算 EHPC 神龙架构 CAE

共享自助洗车店加盟需要投资多少

共享电单车厂家

共享自助洗车 自助洗车机 自助洗车

24小时自助洗车店加盟靠谱吗

共享电单车厂家

自助洗车机 自助洗车 24小时无人自助洗车 自助洗车加盟 24小时自助洗车店

科技向善,“以人为本”将掷地有声!

鼎道智联

95 后新生代 Committer 贺张俭:谈谈年轻人的开源观

Apache Pulsar

开源 云原生 物联网 Apache Pulsar Apache Pulsar 社区

成本管理系统解决方案

低代码小观

企业管理 资产管理 成本优化 低成本 CRM系统

怎么搭建在线帮助页面

小炮

帮助中心

NFT游戏NFT数字藏品交易系统搭建开发

薇電13242772558

NFT

多终端运行小程序,快速丰富智慧社区使用场景

Speedoooo

智慧社区 小程序管理平台 智慧家居 智能家居生态平台 生态平台

共享24小时自助洗车加盟你看好吗

共享电单车厂家

自助洗车 共享洗车 24小时无人洗车 共享自助洗车机

fastposter v2.6.2 发布 程序员专属海报生成器

物有本末

Vue 海报 Pillow 海报生成器 电商海报

活动报名|3DCAT实时渲染云行业生态合作系列沙龙之“云XR如何赋能虚拟仿真实验教学”线上活动邀您参会

3DCAT实时渲染

虚拟仿真 实时渲染

基于三维卷积神经网络的全参考视频质量评估算法(三)_文化 & 方法_腾讯多媒体实验室_InfoQ精选文章