写点什么

创新工场研发“AI 蒙汗药”,用来提升机器学习安全性

  • 2019 年 9 月 05 日
  • 本文字数:2216 字

    阅读完需:约 7 分钟

创新工场研发“AI蒙汗药”,用来提升机器学习安全性

9 月 4 日,机器学习和神经网络领域顶级会议之一的 NeurIPS 2019 揭晓收录论文名单,创新工场人工智能工程院的论文“Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder”被接收在列。

这篇论文围绕现阶段人工智能系统的安全性展开研究,具体而言,文章提出了一种高效生成对抗训练样本的方法 DeepConfuse,通过微弱扰动数据库的方式,彻底破坏对应的学习系统的性能,达到“数据下毒”的目的。


创新工场“数据下毒”论文入选 NeurIPS

近年来,机器学习热度不断攀升,并逐渐在不同应用领域解决各式各样的问题。不过,却很少有人意识到,其实机器学习本身也很容易受到攻击,模型并非想象中坚不可摧。


例如,在训练(学习阶段)或是预测(推理阶段)这两个过程中,机器学习模型就都有可能被对手攻击,而攻击的手段也是多种多样。创新工场 AI 工程院为此专门成立了 AI 安全实验室,针对人工智能系统的安全性,进行了深入对评估和研究。


“Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder”这篇论文的主要贡献,就是提出了高效生成对抗训练数据的最先进方法之一——DeepConfuse,通过劫持神经网络的训练过程,教会噪声生成器为训练样本添加一个有界的扰动,使得该训练样本训练得到的机器学习模型在面对测试样本时的泛化能力尽可能地差,非常巧妙地实现了“数据下毒”。


顾名思义,“数据下毒”即让训练数据“中毒”,具体的攻击策略是通过干扰模型的训练过程,对其完整性造成影响,进而让模型的后续预测过程出现偏差。


注:“数据下毒”与常见的“对抗样本攻击”是不同的攻击手段,存在于不同的威胁场景:前者通过修改训练数据让模型“中毒”,后者通过修改待测试的样本让模型“受骗”。


举例来说,假如一家从事机器人视觉技术开发的公司希望训练机器人识别现实场景中的器物、人员、车辆等,却不慎被入侵者利用论文中提及的方法篡改了训练数据。研发人员在目视检查训练数据时,通常不会感知到异常(因为使数据“中毒”的噪音数据在图像层面很难被肉眼识别),训练过程也一如既往地顺利。但这时训练出来的深度学习模型在泛化能力上会大幅退化,用这样的模型驱动的机器人在真实场景中会彻底“懵圈”,陷入什么也认不出的尴尬境地。更有甚者,攻击者还可以精心调整“下毒”时所用的噪音数据,使得训练出来的机器人视觉模型“故意认错”某些东西,比如将障碍认成是通路,或将危险场景标记成安全场景等。


为了达成这一目的,这篇论文设计了一种可以生成对抗噪声的自编码器神经网络 DeepConfuse,通过观察一个假想分类器的训练过程更新自己的权重,产生“有毒性”的噪声,从而为“受害的”分类器带来最低下的泛化效率,而这个过程可以被归结为一个具有非线性等式约束的非凸优化问题。


从实验数据可以发现,在 MNIST、CIFAR-10 以及缩减版的 IMAGENET 这些不同数据集上,使用“未被下毒”的训练数据集和“中毒”的训练数据集所训练的系统模型在分类精度上存在较大的差异,效果非常可观。



与此同时,从实验结果来看,该方法生成的对抗噪声具有通用性,即便是在随机森林和支持向量机这些非神经网络上也有较好表现。(其中蓝色为使用“未被下毒”的训练数据训练出的模型在泛化能力上的测试表现,橙色为使用“中毒”训练数据训练出的模型的在泛化能力上的测试表现)



在 CIFAR 和 IMAGENET 数据集上的表现也具有相似效果,证明该方法所产生的对抗训练样本在不同的网络结构上具有很高的迁移能力。



此外,论文中提出的方法还能有效扩展至针对特定标签的情形下,即攻击者希望通过一些预先指定的规则使模型分类错误,例如将“猫”错误分类成“狗”,让模型按照攻击者计划,定向发生错误。


例如,下图为 MINIST 数据集上,不同场景下测试集上混淆矩阵的表现,分别为干净训练数据集、无特定标签的训练数据集、以及有特定标签的训练数据集。



实验结果证明了,为有特定标签的训练数据集做相应设置的有效性,未来有机会通过修改设置以实现更多特定的任务。


对数据“下毒”技术的研究并不单单是为了揭示类似的 AI 入侵或攻击技术对系统安全的威胁,更重要的是,只有深入研究相关的入侵或攻击技术,才能有针对性地制定防范“AI 黑客”的完善方案。


联邦学习对 AI 安全研发提出新的目标

除了安全问题之外,人工智能应用的数据隐私问题,也是创新工场 AI 安全实验室重点关注的议题之一。 近年来,随着人工智能技术的高速发展,社会各界对隐私保护及数据安全的需求加强,联邦学习技术应运而生,并开始越来越多地受到学术界和工业界的关注。


具体而言,联邦学习系统是一个分布式的具有多个参与者的机器学习框架,每一个联邦学习的参与者不需要与其余几方共享自己的训练数据,但仍然能利用其余几方参与者提供的信息更好的训练联合模型。换言之,各方可以在在不共享数据的情况下,共享数据产生的知识,达到共赢。


创新工场 AI 工程院十分看好联邦学习技术的巨大应用潜力,今年 3 月,“Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder”论文的作者、创新工场南京国际人工智能研究院执行院长冯霁代表创新工场当选为 IEEE 联邦学习标准制定委员会副主席,着手推进制定 AI 协同及大数据安全领域首个国际标准。创新工场也将成为联邦学习这一技术“立法”的直接参与者。


论文作者

冯霁(创新工场南京国际人工智能研究院执行院长)、 蔡其志(创新工场南京国际人工智能研究院研究员) 、周志华(南京大学人工智能学院院长)


2019 年 9 月 05 日 15:062796

评论

发布
暂无评论
发现更多内容

装在套子里的人

Dc

低代码开发平台解决方案之“金融服务行业”篇

优秀

低代码

能源管理可视化破冰而出,数字孪生打破传统运维僵局

一只数据鲸鱼

物联网 数据可视化 3D可视化 能源管理 智慧电厂

Java面试热门技术框架:Spring Security Oauth2.0认证授权

Java架构追梦

Java spring 面试 金三银四跳槽

为什么我们开发 San 项目时要用 CLI?

百度Geek说

service SLI san command

选择IDaaS解决方案的6个技巧

龙归科技

Idaas

产品经路训练营 -- 第四章作业(一)

Lucas zhou

产品经理训练

书单|互联网企业面试案头书之程序员技术篇

博文视点Broadview

这操作真香!一线互联网企业高级Android工程师面试题大全,面试真题解析

欢喜学安卓

android 程序员 面试 移动开发

数据库周刊60丨3月国产数据库排行榜出炉;日本银行数据迁移失败致使业务宕机;阿里云RDS PG13发布;亚健康Oracle数据库故障定位;Redis最佳实践;MySQL查询优化……

墨天轮

MySQL 数据库 oracle 运维 postgre

LinqToExcel.Extend 源码分析 第二波

happlyfox

28天写作 3月日更

如何凝聚党员力量?智慧组工系统构架组织部管理平台解决方案

源中瑞-龙先生

解决方案 党员 智慧组工

他喵的,Google大佬的这份LeetCode刷题笔记太强了,提升算法能力必备!

Java架构之路

Java 程序员 架构 面试 编程语言

Kubectl Plugin 推荐(二)| 简化操作篇

郭旭东

Kubernetes kubectl kubectl plugin

2021年3月国产数据库排行榜:雏凤声清阿里三连 绝代双骄华为合璧

墨天轮

数据库 腾讯云 阿里云 华为云 TiDB

场景demo落地 - 视频通话 2.0 ARCall

anyRTC开发者

flutter uni-app android WebRTC RTC

PT100热电阻温度阻值对应表

不脱发的程序猿

数据分析 28天写作 PT100 3月日更 温度传感器

腾讯五面、快手三面已拿offer(Java岗位),分享个人面经

Java架构之路

Java 程序员 架构 面试 编程语言

USB2.0 扩展器(一拖四)原理图、PCB,可打样使用

不脱发的程序猿

28天写作 电路设计 USB电路 USB转TTL 3月日更

中国人工智能,赏花更要寻根

脑极体

从产品经理到产品架构师

博文视点Broadview

2021最新发布拼多多/字节/360/网易/面经总结

比伯

Java 编程 程序员 架构 面试

滚雪球学 Python 之 lambda 表达式

梦想橡皮擦

28天写作 3月日更

面试看这个就够了!最新BAT大厂面试者整理的Android面试题目模板,先收藏了

欢喜学安卓

android 程序员 面试 移动开发

淘宝推荐、视频搜索背后的检索技术:阿里达摩院向量检索Proxima核心能力揭秘

Proxima 技术社区

人工智能 大数据 阿里巴巴 搜索 非结构化数据

Python3 * 和 ** 运算符

老王说编程

Python3

【LeetCode】删除字符串中的所有相邻重复项Java题解

HQ数字卡

算法 LeetCode 28天写作 3月日更

当跨国企业女职业经理人遇上创业女 CEO,两者会擦出什么样的火花?

科技新消息

【点评必看】这道 Hard 到底难在哪里?大概是难在考察的是违反“人性直觉”的内容吧 ...

宫水三叶的刷题日记

面试 LeetCode 数据结构与算法

谷歌大佬回国发展,吊打各大厂面试官!吐血总结大厂面试高频点及笔记解析

Java架构之路

Java 程序员 架构 面试 编程语言

微信小程序开发:腾讯地图集成(旧题新说)

三掌柜

微信小程序 大前端 腾讯地图 引航计划

创新工场研发“AI蒙汗药”,用来提升机器学习安全性-InfoQ