AI 安全之对抗样本入门 (33):打造对抗样本工具箱 3.2

阅读数:8 2019 年 11 月 30 日 15:14

AI安全之对抗样本入门(33):打造对抗样本工具箱 3.2

(TensorFlow)

内容简介
第 1 章介绍了深度学习的基础知识,重点介绍了与对抗样本相关的梯度、优化器、反向传递等知识点。
第 2 章介绍了如何搭建学习对抗样本的软硬件环境,虽然 GPU 不是必需的,但是使用 GPU 可以更加快速地验证你的想法。
第 3 章概括介绍了常见的深度学习框架,从 TensorFlow、Keras、PyTorch 到 MXNet。
第 4 章介绍了图像处理领域的基础知识,这部分知识对于理解对抗样本领域的一些常见图像处理技巧非常有帮助。
第 5 章介绍了常见的白盒攻击算法,从基础的 FGSM、DeepFool 到经典的 JSMA 和 CW。
第 6 章介绍了常见的黑盒攻击算法。
第 7 章介绍了对抗样本在目标识别领域的应用。
第 8 章介绍了对抗样本的常见抵御算法,与对抗样本一样,抵御对抗样本的技术也非常有趣。
第 9 章介绍了常见的对抗样本工具以及如何搭建 NIPS 2017 对抗防御环境和轻量级攻防对抗环境 robust-ml,通过这章读者可以了解如何站在巨人的肩膀上,快速生成自己的对抗样本,进行攻防对抗。

TensorFlow 是被工业界和学术界使用最广泛的深度学习框架之一。我们以解决经典的手写数字识别的问题为例,介绍 TensorFlow 的基本使用方法,代码路径为:

复制代码
https://github.com/duoergun0729/adversarial_examples/blob/master/code/2-tensorflow.ipynb
  1. 加载相关库

加载处理经典的手写数字识别的问题相关的 Python 库。

复制代码
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
from tensorflow.python.framework import graph_util
import os
  1. 加载数据集

MNIST 是一个入门级的计算机视觉数据集,它包含各种手写数字图片如图 3-3 所示。

它也包含每一张图片对应的标签,告诉我们这个是数字几。比如这四张图片的标签分别是 5、0、4、1。数据集包括 60000 个的训练数据集和 10000 个的测试数据集,见表 3-1。每一个 MNIST 数据单元由两部分组成,即一张包含手写数字的图片和一个对应的标签。

AI安全之对抗样本入门(33):打造对抗样本工具箱 3.2

图 3-3 MNIST 图片示例
表 3-1 MNIST 数据集详解
文件名称 文件用途
train-images-idx3-ubyte.gz 60000 个图片训练样本
train-labels-idx1-ubyte.gz 60000 个图片训练样本的标注
t10k-images-idx3-ubyte.gz 10000 个图片测试样本
t10k-labels-idx1-ubyte.gz 10000 个图片测试样本的标注

MNIST 的网址为: http://yann.lecun.com/exdb/mnist/ 。MNIST 官网如图 3-4 所示。

AI安全之对抗样本入门(33):打造对抗样本工具箱 3.2

图 3-4 MNIST 官网

MNIST 默认图像的形状为 [28,28,1],为了便于处理,需要改变其形状为一维向量 784。另外特征数据需要归一化为 0 到 1,这可以通过除以 255 来完成。默认的标签的数据类型为整数,取值范围为 0 到 9,为了便于深度学习网络训练,通常会把标签数据转换为独热编码 (One Hot)。所谓独热编码,又称一位有效编码,其方法是使用 N 位状态寄存器来对 N 个状态进行编码,每个状态都有它独立的寄存器位,并且在任意时候,其中只有一位有效。比如标签 0 到 5 就可以分别编码为:

复制代码
000001,000010,000100,001000,010000,100000
  1. 定义网络结构

本例中输入层大小为 784,隐藏层节点数为 300,激活函数为 relu,中间为了避免过拟合,使用 Dropout 层,输出层大小为 10,激活函数为 softmax。为了导出导入 pb 文件时方便,将输入命名为 input,将输出命名为 output。网络结构使用工具 TensorBoard 查看,如图 3-5 所示。

AI安全之对抗样本入门(33):打造对抗样本工具箱 3.2

图 3-5 TensorFlow 处理 MNIST 的网络结构图
复制代码
in_units = 784 #输入节点数
h1_units = 300 #隐藏层节点数
#初始化隐藏层权重 W1,服从默认均值为 0,标准差为 0.1 的截断正态分布
W1 = tf.Variable(tf.truncated_normal([in_units, h1_units], stddev=0.1))
b1 = tf.Variable(tf.zeros([h1_units])) #隐藏层偏置 b1 全部初始化为 0
W2 = tf.Variable(tf.zeros([h1_units, 10]))
b2 = tf.Variable(tf.zeros([10]))
x = tf.placeholder(tf.float32, [None, in_units],name="input")
keep_prob = tf.placeholder(tf.float32,name="keep_prob")
#定义模型结构
hidden1 = tf.nn.relu(tf.matmul(x, W1) + b1)
hidden1_drop = tf.nn.dropout(hidden1, keep_prob)
y = tf.nn.softmax(tf.matmul(hidden1_drop, W2) + b2,name="output")
  1. 定义损失函数和优化器

完成了前向传播的定义,就需要定义损失函数和优化器,便于训练阶段进行反向传递。本例为多分类问题,故使用交叉熵定义损失函数,使用 Adagrad 优化器。

复制代码
y_ = tf.placeholder(tf.float32, [None, 10])
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y),
reduction_indices=[1]))
train_step = tf.train.AdagradOptimizer(0.3).minimize(cross_entropy)
  1. 训练与验证

初始化参数,迭代训练 5000 轮,每轮训练的批处理大小为 100,为了抵御过拟合,每次训练时仅通过 75% 的数据。每训练 200 批次,打印中间结果。

复制代码
sess.run(tf.global_variables_initializer())
correct_prediction = tf.equal(tf.arg_max(y, 1), tf.arg_max(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
for i in range(5000):
batch_xs, batch_ys = mnist.train.next_batch(100)
_,loss=sess.run([train_step,cross_entropy],{x: batch_xs, y_: batch_ys, keep_prob: 0.75})
if i % 200 == 0:
acc=accuracy.eval(feed_dict={x:mnist.test.images,
y_:mnist.test.labels,keep_prob:1})
print("loss={},acc={}".format(loss,acc))

经过 5000 轮训练,准确度达到 98%。

复制代码
loss=0.021222606301307678,acc=0.9814000129699707
loss=0.04722728207707405,acc=0.9786999821662903
loss=0.024759886786341667,acc=0.9797000288963318
loss=0.009720790199935436,acc=0.9803000092506409

AI安全之对抗样本入门(33):打造对抗样本工具箱 3.2

购书地址 https://item.jd.com/12532163.html?dist=jd

评论

发布