GMTC深圳站售票最后一周,点击查看最新日程>> 了解详情
写点什么

图像分类中的对抗攻击是怎么回事?

  • 2019 年 10 月 12 日
  • 本文字数:1799 字

    阅读完需:约 6 分钟

图像分类中的对抗攻击是怎么回事?

深度学习分类模型虽然性能强大,但是也常常会因为受到小的干扰而性能崩溃,对抗攻击就是专门研究如何提高网络模型鲁棒性的方法,本文简要介绍相关内容。


1 简介

对于人类而言,仅仅通过所接收到的视觉信息并不能完全帮助我们做出正确、迅速的判定,还需要结合我们的生活经验做出相应的反应,以确定哪些信息是真实可靠的,而哪些信息是虚假伪造的,从而选取最适合的信息并做出最终的决策。


基于深度学习的图像分类网络,大多是在精心制作的数据集下进行训练,并完成相应的部署,对于数据集之外的图像或稍加改造的图像,网络的识别能力往往会受到一定的影响,比如下图中的雪山和河豚,在添加完相应的噪声之后被模型识别为了狗和螃蟹。



在此现象之下,对抗攻击(Adversarial Attack)开始加入到网络模型鲁棒性的考查之中。通过添加不同的噪声或对图像的某些区域进行一定的改造生成对抗样本,以此样本对网络模型进行攻击以达到混淆网络的目的,即对抗攻击。而添加的这些干扰信息,在人眼看来是没有任何区别的,但是对于网络模型而言,某些数值的变化便会引起“牵一发而动全身”的影响。这在实际应用中将是非常重大的判定失误,如果发生在安检、安防等领域,将会出现不可估量的问题。


本篇文章我们就来谈谈对抗攻击对图像分类网络的影响,了解其攻击方式和现有的解决措施。


2 对抗攻击方式

2.1 白盒攻击(White-box Attacks)

攻击者已知模型内部的所有信息和参数,基于给定模型的梯度生成对抗样本,对网络进行攻击。


2.2 黑盒攻击(Black-box Attacks)

当攻击者无法访问模型详细信息时,白盒攻击显然不适用,黑盒攻击即不了解模型的参数和结构信息,仅通过模型的输入和输出,生成对抗样本,再对网络进行攻击。


现实生活中相应系统的保密程度还是很可靠的,模型的信息完全泄露的情况也很少,因此白盒攻击的情况要远远少于黑盒攻击。但二者的思想均是一致的,通过梯度信息以生成对抗样本,从而达到欺骗网络模型的目的。


3 解决方案

3.1 ALP

Adversarial Logit Paring (ALP)[1]是一种对抗性训练方法,通过对一个干净图像的网络和它的对抗样本进行类似的预测,其思想可以解释为使用清洁图像的预测结果作为“无噪声”参考,使对抗样本学习清洁图像的特征,以达到去噪的目的。该方法在 ImageNet 数据集上对白盒攻击和黑盒攻击分别取得了 55.4%和 77.3%的准确率。


3.2 Pixel Denoising

Pixel Denosing 是以图像去噪的思想避免对抗攻击的干扰,其中代表性的是 Liao 等[2]提出的在网络高级别的特征图上设置一个去噪模块,以促进浅层网络部分更好的学习“干净”的特征。


3.3 Non-differentiable Transform

无论是白盒攻击还是黑盒攻击,其核心思想是对网络的梯度和参数进行估计,以完成对抗样本的生成。Guo 等[3]提出采用更加多样化的不可微图像变换操作(Non-differentiable Transform)以增加网络梯度预测的难度,通过拼接、方差最小化等操作以达到防御的目的。


3.4 Feature Level


通过观察网络特征图来监测干扰信息的影响,是 Xie 等[4]提出的一种全新思路,即对比清洁图像和对抗样本的特征图变化(如上图所示),从而设计一种更加有效直观的去噪模块,以增强网络模型的鲁棒性,同样取得了非常有效的结果。


除此之外,诸多研究人员针对梯度下降算法提出了混淆梯度(Obfuscated gradients)的防御机制,在网络参数更新的梯度优化阶段采用离散梯度、随机梯度与梯度爆炸等方法,实现更好的防御措施。


总结

对抗攻击是图像分类网络模型面临的一大挑战,日后也将是识别、分割模型的一大干扰,有效地解决对抗样本的影响,增加网络模型的鲁棒性和安全性,也是我们需要进一步研究的内容。


参考文献:


1, H. Kannan, A. Kurakin, and I. Goodfellow. Adversarial logit


pairing. In NIPS, 2018.


2, F. Liao, M. Liang, Y. Dong, and T. Pang. Defense against


adversarial attacks using high-level representation guided


denoiser. In CVPR, 2018


3, C. Guo, M. Rana, M. Cisse, and L. van der Maaten. Countering


adversarial images using input transformations. In ICLR,2018.


4 ,Cihang Xie,Yuxin Wu,Laurens van der Maaten,Alan Yuille and Kaiming He. Feature Denoising for Improving Adversarial Robustness.In CVPR ,2019


作者介绍


郭冰洋,公众号“有三 AI”作者。该公号聚焦于让大家能够系统性地完成 AI 各个领域所需的专业知识的学习。


原文链接


https://mp.weixin.qq.com/s/ok-LfkYZwXrM3LrK_oV6Pw


2019 年 10 月 12 日 15:012092

评论

发布
暂无评论
发现更多内容

【墨天轮专访第四期】华为云GaussDB苏光牛:发挥生态优势,培养应用型DBA

墨天轮

数据库 华为云 GaussDB

Elasticsearch 原理解析(介绍)

ZzC🍖

搜索引擎 elasticsearch

流媒体:依托于声网的连麦解决方案

声网Agora

音视频 流媒体

MESI缓存一致性协议

Java 架构 面试 后端

一套基于SpringBoot+MyBatis+Docker实现部署电商系统项目,附项目源码地址及开发文档

程序员知识圈

Java 程序员 架构 面试 编程语言

开源应用中心|动手自建一个超高度自由的个人知识库,原来这么容易!

开源

浪潮云洲发布标识解析数据网关产品

浪潮云

工业互联网

守护油田安全,EMQ X 在石油石化危化品监测管理中的应用

EMQ映云科技

物联网平台 物联网 IoT 边云协同 emq

【得物技术】浅谈重复http请求的取消

得物技术

方法 HTTP 场景 crud 请求

Chrome前端调试技巧分享

华为云数据库小助手

前端 调试 GaussDB 华为云数据库

阿里后端优化这么恐怖?看完这20W字Java性能实战经验手册,最少P7

Java 阿里巴巴 面试 性能调优 金九银十

读了这篇SpringBoot底层原理让我在阿里成功涨薪40%,感谢

Java 编程 面试 涨薪 阿里

"云智一体"全场景智能视频技术与应用解析白皮书下载申请

百度开发者中心

白皮书 云智一体 智能视频

阿里官方保姆级Java技术图谱发布!够学到春节了,赶紧收藏!

Java 面试 阿里 大厂 金九银十

亚信科技AIDB数据库国产化进程加速,计费上云再下一城

AISWare AIDB

实践案例 9月日更 亚信科技AIDB数据库

了解JDBC层之QueryDSL

邱学喆

QueryDSL SQLQueryFactory

前端技术概览

数据库 大数据 时序数据库 tsdb 数据智能

联想新IT引擎引领智能化变革,助力“中国力量”更加强大

科技范儿

如何给技术部员工做考核?

石云升

团队管理 管理 引航计划 内容合集 9月日更

一周信创舆情观察(8.30~9.5)

统小信uos

完整版《微服务架构实战》资源分享,掌握微服务架构技术栈相关技能,是从一名普通程序员到资深架构师的必经之路。

程序员知识圈

Java 程序员 架构 面试 编程语言

面对面小程序开源

OpenIM

【SoCC2018论文】DAGOR:微信「大规模微服务过载控制系统」

OpenIM

想要入职阿里P6?最少啃完这本500页Java并发多线程源码笔记

Java 编程 面试 多线程 阿里

百度智能云开物工业互联网平台解决方案亮相2021服贸会成果发布会

百度大脑

人工智能 服贸会

交易所刷量机器人定制开发案例(源码搭建)

量化系统19942438797

交易所 做市机器人 自动刷量机器人

让 Serverless 应用开发更简单,Serverless Devs 2.0 全新发布

Serverless Devs

开源 Serverless

App 不想被“点名”,mPaaS 隐私合规检测为开发者护航数字生态建设

蚂蚁集团移动开发平台 mPaaS

mPaaS 监管合规 移动开发平台 隐私安全

朋友已经拿到了好几个Offer(Java架构师岗),却唯独对心仪大厂“字节跳动”的面试迟迟不敢行动!原因竟出在算法上面。

程序员知识圈

Java 程序员 架构 面试 编程语言

会员业务基于Cloud KMS的数据安全应用

爱奇艺技术产品团队

数据安全法 Cloud KMS

京东云金秋上云特惠进行中!扫码参与活动

京东科技开发者

云计算 云主机 大促

“你好,元宇宙”华为云联创营元宇宙高峰论坛

“你好,元宇宙”华为云联创营元宇宙高峰论坛

图像分类中的对抗攻击是怎么回事?-InfoQ