AI 安全之对抗样本入门 (10):深度学习基础知识 1.3.4

阅读数:11 2019 年 11 月 30 日 14:59

AI安全之对抗样本入门(10):深度学习基础知识 1.3.4

(典型的 CNN 结构)

内容简介
第 1 章介绍了深度学习的基础知识,重点介绍了与对抗样本相关的梯度、优化器、反向传递等知识点。
第 2 章介绍了如何搭建学习对抗样本的软硬件环境,虽然 GPU 不是必需的,但是使用 GPU 可以更加快速地验证你的想法。
第 3 章概括介绍了常见的深度学习框架,从 TensorFlow、Keras、PyTorch 到 MXNet。
第 4 章介绍了图像处理领域的基础知识,这部分知识对于理解对抗样本领域的一些常见图像处理技巧非常有帮助。
第 5 章介绍了常见的白盒攻击算法,从基础的 FGSM、DeepFool 到经典的 JSMA 和 CW。
第 6 章介绍了常见的黑盒攻击算法。
第 7 章介绍了对抗样本在目标识别领域的应用。
第 8 章介绍了对抗样本的常见抵御算法,与对抗样本一样,抵御对抗样本的技术也非常有趣。
第 9 章介绍了常见的对抗样本工具以及如何搭建 NIPS 2017 对抗防御环境和轻量级攻防对抗环境 robust-ml,通过这章读者可以了解如何站在巨人的肩膀上,快速生成自己的对抗样本,进行攻防对抗。

典型的 CNN 包含卷积层、全连接层等组件,并采用 softmax 多类别分类器和多类交叉熵损失函数,一个典型的卷积神经网络如图 1-19 所示。

AI安全之对抗样本入门(10):深度学习基础知识 1.3.4

图 1-19 典型的 CNN 结构

我们先介绍用来构造 CNN 的常见组件:

  • 卷积层:执行卷积操作提取底层到高层的特征,挖掘出图片局部关联性质和空间不变性质。
  • 池化层:执行降采样操作。通过取卷积输出特征图中局部区块的最大值或者均值来实现。降采样也是图像处理中常见的一种操作,可以过滤掉一些不重要的高频信息。
  • 全连接层:输入层到隐藏层的神经元是全部连接的。
  • 非线性变化:卷积层、全连接层后面一般都会接非线性变化层,例如 Sigmoid、Tanh、ReLu 等来增强网络的表达能力,在 CNN 里最常使用的为 ReLu 激活函数。
  • Dropout:在训练阶段随机让一些隐层节点不工作,提高神经网络的泛化能力,一定程度上防止过拟合,这一点就好比人眼在做图像识别时,适当遮住一部分像素不会影响识别结果一样。相对于浅层学习的 SVM、KNN 和朴素贝叶斯等,深度学习由于参数众多,更容易出现过拟合的现象,所以一般都需要使用 Dropout 机制。

AI安全之对抗样本入门(10):深度学习基础知识 1.3.4

购书地址 https://item.jd.com/12532163.html?dist=jd

评论

发布