AI 安全之对抗样本入门 (8):深度学习基础知识 1.3.2

阅读数:7 2019 年 11 月 30 日 14:52

AI安全之对抗样本入门(8):深度学习基础知识 1.3.2

(参数共享)

内容简介
第 1 章介绍了深度学习的基础知识,重点介绍了与对抗样本相关的梯度、优化器、反向传递等知识点。
第 2 章介绍了如何搭建学习对抗样本的软硬件环境,虽然 GPU 不是必需的,但是使用 GPU 可以更加快速地验证你的想法。
第 3 章概括介绍了常见的深度学习框架,从 TensorFlow、Keras、PyTorch 到 MXNet。
第 4 章介绍了图像处理领域的基础知识,这部分知识对于理解对抗样本领域的一些常见图像处理技巧非常有帮助。
第 5 章介绍了常见的白盒攻击算法,从基础的 FGSM、DeepFool 到经典的 JSMA 和 CW。
第 6 章介绍了常见的黑盒攻击算法。
第 7 章介绍了对抗样本在目标识别领域的应用。
第 8 章介绍了对抗样本的常见抵御算法,与对抗样本一样,抵御对抗样本的技术也非常有趣。
第 9 章介绍了常见的对抗样本工具以及如何搭建 NIPS 2017 对抗防御环境和轻量级攻防对抗环境 robust-ml,通过这章读者可以了解如何站在巨人的肩膀上,快速生成自己的对抗样本,进行攻防对抗。

本质上隐藏层的一个节点与输入层一个节点的连接,对应的就是一个连接参数,大量的连接也就意味着大量的参数需要计算,仅依靠局部连接技术是无法进一步减少计算量的,于是人们又提出了参数共享。所谓的参数共享是基于这样一个假设,一部分图像的统计特性与完整图像的相同。回到上面的例子,每个隐藏层的节点只与输入层的 100 个节点连接,这样每个隐藏层节点就具有 100 个参数,全部隐藏层就具有 1000000×100=108 个参数,使用参数共享后,每个隐藏层的节点都具有完全相同的参数,全部隐藏层就只有 100 个参数需要计算了,这大大减少了计算量,而且即使处理更大的图像,只要单一隐藏层节点与输入层连接的个数不变,全部隐藏层的参数个数也不会变。这种共享参数的机制,可以理解为针对图像的卷积操作。假设如图 1-13 所示,具有一个 4×4 大小的图像和一个大小为 2×2 的卷积核。

大小为 2×2 的卷积核对原始图像第 1 块大小为 2×2 的图像进行卷积操作,得到卷积结果为 2,如图 1-14 所示。

AI安全之对抗样本入门(8):深度学习基础知识 1.3.2

图 1-13 原始图像与卷积核

AI安全之对抗样本入门(8):深度学习基础知识 1.3.2

图 1-14 卷积核对原始图像第 1 个 2×2 的块进行处理

大小为 2×2 的卷积核对原始图像第 2 块大小为 2×2 的图像进行卷积操作,得到卷积结果为 1,如图 1-15 所示。

AI安全之对抗样本入门(8):深度学习基础知识 1.3.2

图 1-15 卷积核对原始图像第 2 个 2×2 的块进行处理

如果大小为 2×2 的卷积核依次对原始图像进行卷积操作,移动的步长为 2,那么最终将获得一个 2×2 的新图像,如图 1-16 所示。

AI安全之对抗样本入门(8):深度学习基础知识 1.3.2

图 1-16 卷积核对原始图像处理后的结果

可见卷积处理后图像的大小与卷积核的大小无关,仅与步长有关,对应的隐藏层的节点个数也仅与步长有关。另外需要说明的是,卷积核处理图像边际时会出现数据缺失,这个时候需要将图像补全,常见的补全方式有两种,分别是 same 模式和 valid 模式,same 模式会使用 0 数据补全,而且保持生成图像与原始图像大小一致。

same 模式会使用大小为 2×2 的卷积核依次对原始图像进行卷积操作,移动的步长为 1,最终获得一个 4×4 的新图像如图 1-17 所示。这里需要再次强调的是,当步长为 1 时,无论卷积核大小如何,处理前后图像大小不变;只有当步长大于 1 时,处理后的图像才会变小。

AI安全之对抗样本入门(8):深度学习基础知识 1.3.2

图 1-17 卷积核对原始图像处理后的结果

AI安全之对抗样本入门(8):深度学习基础知识 1.3.2

购书地址 https://item.jd.com/12532163.html?dist=jd

评论

发布