AICon全球人工智能与机器学习技术大会9折特惠中,点击立减¥480>> 了解详情
写点什么

图像分类中的对抗攻击是怎么回事?

2019 年 10 月 12 日

图像分类中的对抗攻击是怎么回事?

深度学习分类模型虽然性能强大,但是也常常会因为受到小的干扰而性能崩溃,对抗攻击就是专门研究如何提高网络模型鲁棒性的方法,本文简要介绍相关内容。


1 简介

对于人类而言,仅仅通过所接收到的视觉信息并不能完全帮助我们做出正确、迅速的判定,还需要结合我们的生活经验做出相应的反应,以确定哪些信息是真实可靠的,而哪些信息是虚假伪造的,从而选取最适合的信息并做出最终的决策。


基于深度学习的图像分类网络,大多是在精心制作的数据集下进行训练,并完成相应的部署,对于数据集之外的图像或稍加改造的图像,网络的识别能力往往会受到一定的影响,比如下图中的雪山和河豚,在添加完相应的噪声之后被模型识别为了狗和螃蟹。



在此现象之下,对抗攻击(Adversarial Attack)开始加入到网络模型鲁棒性的考查之中。通过添加不同的噪声或对图像的某些区域进行一定的改造生成对抗样本,以此样本对网络模型进行攻击以达到混淆网络的目的,即对抗攻击。而添加的这些干扰信息,在人眼看来是没有任何区别的,但是对于网络模型而言,某些数值的变化便会引起“牵一发而动全身”的影响。这在实际应用中将是非常重大的判定失误,如果发生在安检、安防等领域,将会出现不可估量的问题。


本篇文章我们就来谈谈对抗攻击对图像分类网络的影响,了解其攻击方式和现有的解决措施。


2 对抗攻击方式

2.1 白盒攻击(White-box Attacks)

攻击者已知模型内部的所有信息和参数,基于给定模型的梯度生成对抗样本,对网络进行攻击。


2.2 黑盒攻击(Black-box Attacks)

当攻击者无法访问模型详细信息时,白盒攻击显然不适用,黑盒攻击即不了解模型的参数和结构信息,仅通过模型的输入和输出,生成对抗样本,再对网络进行攻击。


现实生活中相应系统的保密程度还是很可靠的,模型的信息完全泄露的情况也很少,因此白盒攻击的情况要远远少于黑盒攻击。但二者的思想均是一致的,通过梯度信息以生成对抗样本,从而达到欺骗网络模型的目的。


3 解决方案

3.1 ALP

Adversarial Logit Paring (ALP)[1]是一种对抗性训练方法,通过对一个干净图像的网络和它的对抗样本进行类似的预测,其思想可以解释为使用清洁图像的预测结果作为“无噪声”参考,使对抗样本学习清洁图像的特征,以达到去噪的目的。该方法在 ImageNet 数据集上对白盒攻击和黑盒攻击分别取得了 55.4%和 77.3%的准确率。


3.2 Pixel Denoising

Pixel Denosing 是以图像去噪的思想避免对抗攻击的干扰,其中代表性的是 Liao 等[2]提出的在网络高级别的特征图上设置一个去噪模块,以促进浅层网络部分更好的学习“干净”的特征。


3.3 Non-differentiable Transform

无论是白盒攻击还是黑盒攻击,其核心思想是对网络的梯度和参数进行估计,以完成对抗样本的生成。Guo 等[3]提出采用更加多样化的不可微图像变换操作(Non-differentiable Transform)以增加网络梯度预测的难度,通过拼接、方差最小化等操作以达到防御的目的。


3.4 Feature Level


通过观察网络特征图来监测干扰信息的影响,是 Xie 等[4]提出的一种全新思路,即对比清洁图像和对抗样本的特征图变化(如上图所示),从而设计一种更加有效直观的去噪模块,以增强网络模型的鲁棒性,同样取得了非常有效的结果。


除此之外,诸多研究人员针对梯度下降算法提出了混淆梯度(Obfuscated gradients)的防御机制,在网络参数更新的梯度优化阶段采用离散梯度、随机梯度与梯度爆炸等方法,实现更好的防御措施。


总结

对抗攻击是图像分类网络模型面临的一大挑战,日后也将是识别、分割模型的一大干扰,有效地解决对抗样本的影响,增加网络模型的鲁棒性和安全性,也是我们需要进一步研究的内容。


参考文献:


1, H. Kannan, A. Kurakin, and I. Goodfellow. Adversarial logit


pairing. In NIPS, 2018.


2, F. Liao, M. Liang, Y. Dong, and T. Pang. Defense against


adversarial attacks using high-level representation guided


denoiser. In CVPR, 2018


3, C. Guo, M. Rana, M. Cisse, and L. van der Maaten. Countering


adversarial images using input transformations. In ICLR,2018.


4 ,Cihang Xie,Yuxin Wu,Laurens van der Maaten,Alan Yuille and Kaiming He. Feature Denoising for Improving Adversarial Robustness.In CVPR ,2019


作者介绍


郭冰洋,公众号“有三 AI”作者。该公号聚焦于让大家能够系统性地完成 AI 各个领域所需的专业知识的学习。


原文链接


https://mp.weixin.qq.com/s/ok-LfkYZwXrM3LrK_oV6Pw


2019 年 10 月 12 日 15:012049

评论

发布
暂无评论
发现更多内容

immutability模式

Geek_571bdf

Java 设计模式 并发 线程安全

安全团队和云计算团队之间更好协作的6个技巧

浪潮云

云计算

Angular:都2021年了,你为啥还没用Angular

华为云开发者社区

angular 数据绑定

架构实战营 - 模块 3- 作业

carl

网易数帆云原生故障诊断系统实践与思考

网易数帆

Docker 云计算 Kubernetes 云原生 故障诊断

五一假期不出门,宅在家躺着做梦,哎~就是玩儿

十三

开源 程序员 写作

Dubbo 服务分组与多版本

青年IT男

第八大洲环游记(三):人间胜境新西兰,AI孤岛or方舟?

脑极体

数据架构:概念与冷热分离

程序员架构进阶

数据架构 架构设计 28天写作 5月日更 冷热分离

区块链为何会上升国家战略技术?

CECBC区块链专委会

区块链

玩转直播系列之从 0 到 1 构建简单直播系统(1)

vivo互联网技术

消息推送 RTMP 直播推流

宝马、沃尔沃、奇瑞纷纷布局,区块链将颠覆汽车行业?

CECBC区块链专委会

华为云数据库GaussDB(for Cassandra)揭秘第二期:内存异常增长的排查经历

华为云开发者社区

云原生 内存泄漏 NoSQL数据库 华为云数据库 GaussDB(for Cassandra)

谈谈测试环境管理与实践

大卡尔

测试环境 工程效能

微前端中,为子应用配备开发环境临时导航菜单,提高开发效率

blueju

JavaScript 前端 React umi

编程规范的意义

顿晓

5月日更 编程规范

Nginx基础配置-基础模块配置

梁龙先森

nginx 前端

IDEA 这样设置,好看到爆炸!!!

楼下小黑哥

Java 程序员 IDEA 编程开发

LeetCode题解:150. 逆波兰表达式求值,栈,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

数字化助力金融科技,实现产业良性循环

CECBC区块链专委会

科技

要不要去创业?

石云升

创业 5月日更

Redis - 哈希表

旺仔大菜包

redis

吴凡 ベ莫离: 网友都说MyBatis多表查询太难了,小白:就这?我都学会了

牛哄哄的java大师

硬核资源!清华博士的Spring Boot中AOP与SpEL笔记,码农:膜拜

牛哄哄的java大师

Java

论文解读丨基于局部特征保留的图卷积神经网络架构(LPD-GCN)

华为云开发者社区

图神经网络 图结构 图卷积神经网络 DenseNets 池化

Golang中runtime包的基本使用方式

liuzhen007

Go 5月日更

网络攻防学习笔记 Day6

穿过生命散发芬芳

5月日更 网络攻防

架构实战营 - 模块 3- 作业

请弄脏我的身体

架构实战营

区块链为法院工作插上科技翅膀

CECBC区块链专委会

法院

全球数字货币加快研发

CECBC区块链专委会

IDEA 的 debug 怎么实现?出于这个好奇心,我越挖越深!

Java小咖秀

Java debug IDEA 調試

数据cool谈(第1期)数据库寻路,开源有态度

数据cool谈(第1期)数据库寻路,开源有态度

图像分类中的对抗攻击是怎么回事?-InfoQ