AI 安全之对抗样本入门 (7):深度学习基础知识 1.3&1.3.1

阅读数:5 2019 年 11 月 30 日 14:52

AI安全之对抗样本入门(7):深度学习基础知识 1.3&1.3.1

(基于 CNN 的图像分类)

内容简介
第 1 章介绍了深度学习的基础知识,重点介绍了与对抗样本相关的梯度、优化器、反向传递等知识点。
第 2 章介绍了如何搭建学习对抗样本的软硬件环境,虽然 GPU 不是必需的,但是使用 GPU 可以更加快速地验证你的想法。
第 3 章概括介绍了常见的深度学习框架,从 TensorFlow、Keras、PyTorch 到 MXNet。
第 4 章介绍了图像处理领域的基础知识,这部分知识对于理解对抗样本领域的一些常见图像处理技巧非常有帮助。
第 5 章介绍了常见的白盒攻击算法,从基础的 FGSM、DeepFool 到经典的 JSMA 和 CW。
第 6 章介绍了常见的黑盒攻击算法。
第 7 章介绍了对抗样本在目标识别领域的应用。
第 8 章介绍了对抗样本的常见抵御算法,与对抗样本一样,抵御对抗样本的技术也非常有趣。
第 9 章介绍了常见的对抗样本工具以及如何搭建 NIPS 2017 对抗防御环境和轻量级攻防对抗环境 robust-ml,通过这章读者可以了解如何站在巨人的肩膀上,快速生成自己的对抗样本,进行攻防对抗。


(局部连接)

人们尝试直接把原始图像作为输入,通过深度学习算法直接进行图像分类,从而绕过复杂的特征工程。常见的深度学习算法都是全连接形式,所谓全连接,就是第 n1 层的任意一个节点,都和第 n 层所有节点有连接,如图 1-10 所示。

AI安全之对抗样本入门(7):深度学习基础知识 1.3&1.3.1

图 1-10 全连接示意图

同时,临近输入层的隐藏层的任意节点与输入层的全部节点都有连接,如图 1-11 所示。

AI安全之对抗样本入门(7):深度学习基础知识 1.3&1.3.1

图 1-11 输入层与隐藏层全连接示意图

以一个大小为 1000×1000 的灰度图像为例,输入层节点数量为 1000×1000=1000000,隐藏层节点数量也为 1000×1000=1000000,仅输入层与隐藏层的连接就需要 1000000×1000000=1012,这几乎是个天文数字,如此巨大的计算量阻碍了深度学习在图像分类方向的应用。

事情的转机来源于生物学的一个发现。人们在研究猫的视觉神经细胞时发现,一个视觉神经元只负责处理视觉图像的一小块,这一小块称为感受野(Receptive Field),类比在图像分类领域,识别一个图像是何种物体时,一个点与距离近的点之间的关联非常紧密,但是和距离远的点之间关系就不大了,甚至足够远的时候就可以忽略不计1

1 http://blog.csdn.net/stdcoutzyx/article/details/41596663

全连接与局部连接示意图,如图 1-12 所示。

AI安全之对抗样本入门(7):深度学习基础知识 1.3&1.3.1

图 1-12 全连接与局部连接示意图

具体到深度学习算法上,在隐藏层与输入层之间,隐藏层的一个节点只处理一部分输入层节点的数据,形成局部连接。继续上面的例子,假设每个隐藏层的节点只处理 10×10 大小的数据,也就是说每个隐藏层的节点只与输入层的 100 个节点连接,这样在隐藏层节点数量和输入层节点数量不变的情况下,输入层与隐藏层的连接需要 1000000×100=108,是全连接的万分之一,虽然计算量下降不少,但是依然十分巨大。局部连接不会减少隐藏层的节点数量,减少的是隐藏层和输入层之间的连接数。

AI安全之对抗样本入门(7):深度学习基础知识 1.3&1.3.1

购书地址 https://item.jd.com/12532163.html?dist=jd

评论

发布