写点什么

实战图像分类网络的可视化 | 图像分类专栏

2019 年 9 月 23 日

实战图像分类网络的可视化 | 图像分类专栏


欢迎来到《图像分类》专栏,今天讲述分类模型可视化问题,进入网络内部,让我们一探究竟!


1 简介

一直以来,深度学习 被认为缺乏可解释性和基础理论支撑,往往被人们看做一个“黑匣子”。为了展现神经网络的内部特征并构建相应的理解过程,使神经网络更加可靠,相关的网络可视化研究越来越受人们重视。



现阶段,网络可视化的研究内容基本上围绕经典的分类网络展开,是图像分类的延伸和升华,大体上可以分为层可视化、卷积核可视化、类激活图可视化三种,本篇文章我们就走进神经网络的内部,了解那些千姿百态的可视化知识。


2 方法汇总

2.1 层可视化

众所周知,神经网络由若干卷积层、池化层、非线性激活层等构成,层可视化就是对构成网络的各层结果进行可视化,以观测图像在网络中的传播过程。


层可视化的对应操作比较简单,我们只需要获取网络的各层输出结果,也就是将图像由 tensor 形式转换为 numpy 对应的矩阵形式即可。



如上图中的蜘蛛,可以输出每层的结果如下:



在层数较低时,网络关注的重点在整幅图片,随着层数的加深,关注的重点则放在了某些轮廓边缘区域,说明网络会随着学习的深入关注更加细节的部分,这一过程也符合人们由整体到局部的认知方式。


层可视化可以很好的解释网络学习的大致流程,呈现了网络在图像传播过程中关注区域的变化过程。


2.2 卷积核可视化

图像分类网络的本质是对卷积核的参数进行学习,不同的卷积核代表对应的类别特征,是分类的核心基准。因此,如何呈现出卷积核的内容,也是评判网络学习能力的方法之一。


在进行卷积核可视化时,我们需要对网络中各层学习到的参数进行提取,同样需要由 tensor 转化为转换为 numpy 对应的矩阵形式。


仍然以蜘蛛的图片为例,可以看到不同层的卷积核可视化如下:



可以看出浅层的卷积核大多学习点、颜色等基础特征;随着层数的增加开始学习到线段、边缘等特征。层数越深,学习到的特征就越具体越抽象。


2.3 类激活图可视化

层可视化和卷积核可视化所关注的重点在图像的局部特征,需要通过提取每层的参数才可以获得对应的可视化图,并不能反应整幅图像的完整响应。


如果能得出整幅图像对其类别的整体响应值,即每个像素在分类所做出的贡献,我们便可以得到特征在网络学习过程中的重要程度占比。


在此基础上,类激活图的概念被提出。



通过对特征图作全局平均值池化可以获得特征图的整体均值,并移除全连接层,以此作为基准进行分类,可以保留特征的空间位置信息,从而反应图像中任意位置特征的重要程度。



如上图中的花朵图像,通过类激活图我们可以看到网络关注的重点区域,这也是判定网络学习是否准确的一种全新思路。


总结

以上就是关于网络可视化的内容,目前许多关于可视化的研究仍在开展当中,这有助于我们更深入的了解网络各部分的作用,更有助于对网络模型进行优化,希望大家可以重视这部分内容,深入的去了解整个过程。


作者介绍


郭冰洋,公众号“有三 AI”作者。该公号聚焦于让大家能够系统性地完成 AI 各个领域所需的专业知识的学习。


原文链接


https://mp.weixin.qq.com/s/gH85ZbJh_rnm3n6FSm9TSw


2019 年 9 月 23 日 11:46520

评论

发布
暂无评论
发现更多内容

SpringBoot系列(6)- 测试

引花眠

spring springboot

ARTS打卡 第27周

引花眠

微服务 ARTS 打卡计划 springboot

架构师训练营 - 第12周

袭望

第十二周 学习总结

熊桂平

极客大学架构师训练营

架构师训练营 12 周笔记

郎哲158

智慧公安大数据分析研判系统开发,合成作战平台建设

WX13823153201

架构师训练营 2 期 Week08 总结

Calvin

架构1期 第十二周作业

haha

「奇淫技巧」如何写最少的代码

Kerwin

Java 代码设计 代码技巧

架构师训练营 12 周作业

郎哲158

第十二周 架构方法学习总结 —— 数据应用

兵长

智天下APP系统开发|智天下软件开发

开發I852946OIIO

系统开发

第三周总结

ty

第十二周 作业

熊桂平

极客大学架构师训练营

Java并发编程:多线程并发内存模型

码农架构

Java并发

使用Angular8和百度地图api开发《旅游清单》

徐小夕

Java angular.js 前端 angular

ARTS打卡 第26周

引花眠

微服务 ARTS 打卡计划 springboot

第12周作业

paul

Week 12 學習總結

Christy LAW

减肥为什么会失败,有可能是因为你仍然在摄入容易消化的食用糖。

叶小鍵

科普 减肥、廋身 盖里·陶比斯 加工食用糖

第十二周 数据应用(一)总结

钟杰

极客大学架构师训练营

week8-作业二-根据当周学习情况,完成一篇学习总结

ETH场外交易系统开发流程丨ETH场外交易开发源码案例

系统开发咨询1357O98O718

ETH场外交易系统开发

week8-作业一

架构师训练营 2 期 Week08 作业

Calvin

ARTS打卡 第25周

引花眠

微服务 ARTS 打卡计划 springboot

Week_12 总结

golangboy

极客大学架构师训练营

Week 12 作業

Christy LAW

与前端训练营的日子 --Week07

SamGe

学习

区块链钱包系统开发方案丨多币种钱包系统开发详情

系统开发咨询1357O98O718

区块链钱包开发

三金本体挖矿模式系统开发丨三金本体平台源码设计

系统开发咨询1357O98O718

三金本体挖矿模式源码

微服务架构下如何保证事务的一致性

微服务架构下如何保证事务的一致性

实战图像分类网络的可视化 | 图像分类专栏-InfoQ