AI 安全之对抗样本入门 (9):深度学习基础知识 1.3.3

阅读数:7 2019 年 11 月 30 日 14:59

AI安全之对抗样本入门(9):深度学习基础知识 1.3.3

(池化)

内容简介
第 1 章介绍了深度学习的基础知识,重点介绍了与对抗样本相关的梯度、优化器、反向传递等知识点。
第 2 章介绍了如何搭建学习对抗样本的软硬件环境,虽然 GPU 不是必需的,但是使用 GPU 可以更加快速地验证你的想法。
第 3 章概括介绍了常见的深度学习框架,从 TensorFlow、Keras、PyTorch 到 MXNet。
第 4 章介绍了图像处理领域的基础知识,这部分知识对于理解对抗样本领域的一些常见图像处理技巧非常有帮助。
第 5 章介绍了常见的白盒攻击算法,从基础的 FGSM、DeepFool 到经典的 JSMA 和 CW。
第 6 章介绍了常见的黑盒攻击算法。
第 7 章介绍了对抗样本在目标识别领域的应用。
第 8 章介绍了对抗样本的常见抵御算法,与对抗样本一样,抵御对抗样本的技术也非常有趣。
第 9 章介绍了常见的对抗样本工具以及如何搭建 NIPS 2017 对抗防御环境和轻量级攻防对抗环境 robust-ml,通过这章读者可以了解如何站在巨人的肩膀上,快速生成自己的对抗样本,进行攻防对抗。

通过局部连接和参数共享后,我们针对 1000×1000 的图像,使用卷积核大小为 10×10,卷积步长为 1,进行卷积操作,得到的隐藏层节点个数为 1000×1000=106,计算量还是太大了。为了解决这个问题,首先回忆一下,我们之所以决定使用卷积后的特征是因为图像具有一种“静态性”的属性,这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此,为了描述大的图像,一个很自然的想法就是对不同位置的特征进行聚合统计,例如,人们可以计算图像一个区域上的某个特定特征的平均值(或最大值)。这种聚合的操作就叫作池化,常见的池化大小为 2×2、3×3 等,假设隐藏层节点个数为 4×4,使用 2×2 大小池化,取最大值,过程如图 1-18 所示。

AI安全之对抗样本入门(9):深度学习基础知识 1.3.3

图 1-18 池化处理示例

隐藏层节点个数为 1000×1000 的神经网络,经过 2×2 池化后,得到的隐藏层节点个数为 500×500。

AI安全之对抗样本入门(9):深度学习基础知识 1.3.3

购书地址 https://item.jd.com/12532163.html?dist=jd

评论

发布