AI 安全之对抗样本入门 (3):深度学习基础知识 1.1.3

阅读数:13 2019 年 11 月 30 日 14:51

AI安全之对抗样本入门(3):深度学习基础知识 1.1.3

(定义损失函数)

内容简介
第 1 章介绍了深度学习的基础知识,重点介绍了与对抗样本相关的梯度、优化器、反向传递等知识点。
第 2 章介绍了如何搭建学习对抗样本的软硬件环境,虽然 GPU 不是必需的,但是使用 GPU 可以更加快速地验证你的想法。
第 3 章概括介绍了常见的深度学习框架,从 TensorFlow、Keras、PyTorch 到 MXNet。
第 4 章介绍了图像处理领域的基础知识,这部分知识对于理解对抗样本领域的一些常见图像处理技巧非常有帮助。
第 5 章介绍了常见的白盒攻击算法,从基础的 FGSM、DeepFool 到经典的 JSMA 和 CW。
第 6 章介绍了常见的黑盒攻击算法。
第 7 章介绍了对抗样本在目标识别领域的应用。
第 8 章介绍了对抗样本的常见抵御算法,与对抗样本一样,抵御对抗样本的技术也非常有趣。
第 9 章介绍了常见的对抗样本工具以及如何搭建 NIPS 2017 对抗防御环境和轻量级攻防对抗环境 robust-ml,通过这章读者可以了解如何站在巨人的肩膀上,快速生成自己的对抗样本,进行攻防对抗。

完成了网络定义后,我们可以针对指定的输入 x 获得对应的预测值 y,我们自然希望预测值 y 与真实值 y_ 之间的差距越小越好,理想的情况就是在数据集上预测值 y 和真实值 y_ 总是完全一样。但是事实上这几乎是无法做到的,我们需要定义预测值和真实值之间的差距,也就是理想和现实之间的差距。可以认为深度学习训练的过程,就是不断追求损失函数最小化的过程。以 Keras 为例,常见的损失函数有以下几种:

  • mean_squared_error 或 mse
  • mean_absolute_error 或 mae
  • mean_absolute_percentage_error 或 mape
  • mean_squared_logarithmic_error 或 msle
  • squared_hinge
  • hinge
  • categorical_hinge
  • binary_crossentropy
  • logcosh
  • categorical_crossentropy
  • sparse_categorical_crossentrop

其中二分类问题经常使用的是 binary_crossentropy,多分类问题经常使用的是 categorical_crossentropy,回归问题使用 mse 和 mae。

AI安全之对抗样本入门(3):深度学习基础知识 1.1.3

购书地址 https://item.jd.com/12532163.html?dist=jd

评论

发布