【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

AI 无间道!清华 AI 团队推出 AI 安全平台,欺骗顶尖人脸算法后又强势修复漏洞

  • 2020-04-09
  • 本文字数:3437 字

    阅读完需:约 11 分钟

AI无间道!清华AI团队推出AI安全平台,欺骗顶尖人脸算法后又强势修复漏洞

随着人工智能技术的发展,人工智能在很多场景里正逐渐替代或协作着人类的各种劳动,它们可以成为人类的眼睛、耳朵、手臂甚至大脑。


其中,机器视觉作为 AI 时代的基础技术,其背后的 AI 算法一直是各科技巨头和创业公司共同追逐的热点。然而,这些主流应用场景的背后,往往也藏着由技术性缺陷导致的算法安全风险。


例如,在一些训练数据无法覆盖到的极端场景中,自动驾驶汽车可能出现匪夷所思的决策,导致乘车人安全风险。从 2016 年至今,Tesla、Uber 等企业的辅助驾驶和自动驾驶系统就都曾出现过类似严重事故。


并且这类极端情形也可能被恶意制造并利用,发起“对抗样本攻击”,去年 7 月,百度等研究机构就曾经通过 3D 技术打印能让自动驾驶“无视”的障碍物,使车辆面临撞击的风险,同时威胁行驶安全。


之所以能攻击成功,主要是机器视觉和人类视觉有着很大的差异。因此可以通过在图像、物体等输入信息上添加微小的扰动改变(即上述故意干扰的“对抗样本”),就能导致很大的算法误差。此外,随着 AI 的进一步发展,将算法模型运用于更多类似金融决策、医疗诊断等关键核心场景,这类 AI“漏洞”的威胁将愈发凸显出来。


近几年来,包括清华大学人工智能研究院院长张钹院士、前微软全球执行副总裁沈向洋等均提倡要发展安全、可靠、可信的人工智能以及负责任的人工智能,其中 AI 的安全应用均是重点方向。


然而 AI 安全作为一个新兴领域,尽管对抗样本等攻击手段日益变得复杂,在开源社区、工具包的加持下,高级攻击方法快速增长,相关防御手段的普及和推广却难以跟上。在 AI 算法研发和应用的过程中,对抗样本等算法漏洞检测存在较高的技术壁垒,目前市面上缺乏自动化检测工具,而大部分企业与组织不具备该领域的专业技能来妥善应对日益增长的恶意攻击。

一、从安全评测到防御升级,RealSafe 让 AI 更加安全可控

为了解决以上痛点,近日,清华大学 AI 研究院孵化企业 RealAI(瑞莱智慧)正式推出首个针对 AI 在极端和对抗环境下的算法安全性检测与加固的工具平台——RealSafe 人工智能安全平台


据了解,该平台内置领先的 AI 对抗攻防算法,提供从安全测评到防御加固整体解决方案,目前可用于发现包括人脸比对等在内的常用 AI 算法可能出错的极端情形,也能预防潜在的对抗攻击。



RealAI 表示,就如网络安全时代,网络攻击的大规模渗透诞生出杀毒软件,发现计算机潜在病毒威胁,提供一键系统优化、清理垃圾跟漏洞修复等功能,RealAI 团队希望通过 RealSafe 平台打造出人工智能时代的“杀毒软件”,为构建人工智能系统防火墙提供支持,帮助企业有效应对人工智能时代下算法漏洞孕育出的“新型病毒”。


RealSafe 平台目前主要支持两大功能模块:模型安全测评、防御解决方案


其中,模型安全评测主要为用户提供 AI 模型安全性评测服务。用户只需接入所需测评模型的 SDK 或 API 接口,选择平台内置或者自行上传的数据集,平台将基于多种算法生成对抗样本模拟攻击,并综合在不同算法、迭代次数、扰动量大小的攻击下模型效果的变化,给出模型安全评分及详细的测评报告(如下图)。目前已支持黑盒查询攻击方法与黑盒迁移攻击方法。



防御解决方案则是为用户提供模型安全性升级服务,目前 RealSafe 平台支持五种去除对抗噪声的通用防御方法,可实现对输入数据的自动去噪处理,破坏攻击者恶意添加的对抗噪声。根据上述的模型安全评测结果,用户可自行选择合适的防御方案,一键提升模型安全性。另外防御效果上,根据实测来看,部分第三方的人脸比对 API 通过使用 RealSafe 平台的防御方案加固后,安全性可提高 40%以上


随着模型攻击手段在不断复杂扩张的情况下,RealSafe 平台还持续提供广泛且深入的 AI 防御手段,帮助用户获得实时且自动化的漏洞检测和修复能力。

二、“对抗样本”成“AI 病毒”,国内外主流人脸识别算法相继被“攻破”

站在人脸识别终端前,通过人脸识别摄像头完成身份校验,类似的人脸识别身份认证已经覆盖到刷脸支付、酒店入住登记、考试身份核验、人证比对等等生活场景中。


考虑到公众对于对抗样本这一概念可能比较模糊,RealSafe 平台选取了公众最为熟知的人脸比对场景(人脸比对被广泛用于上述的身份认证场景中)提供在线体验。并且,为了深入研究“对抗样本”对人脸比对系统识别效果的影响,RealAI 团队基于此功能在国外主流 AI 平台的演示服务上进行了测试。



选取一组不同的人脸图片(如下图),通过 RealSafe 平台对其中一张图片生成对抗样本,但不影响肉眼判断,添加“对抗样本”前后分别输入到微软、亚马逊云服务的人脸比对演示平台中查看相似度。



最终结果显示,添加“噪音”扰动前,两张图片相似度低,Azure、AWS


演示平台判定为“不相同”,但添加扰动后,均错误识别为“相同”,甚至 Azure 平台前后相似度的变化幅度高达 70%以上。



为了探究结果的普适性,RealAI 团队又选取了国内三家主流人脸比对平台进行测试,结果同样显示,添加扰动之后,原本判定为“不同人脸”的图片均被错误识别为“相同人脸”,前后相似度的变化幅度可达到 20%以上。


通过 RealSafe 防火墙“去噪”过滤后,这几个人脸比对平台的识别“误差”获得不同程度的纠正,识别效果得到稳定提升。目前,RealAI 团队已经将这种潜在风险以及相关防御方法反馈给上述企业,以帮助企业及时修补漏洞。


实测证明,“对抗样本”可以极大的干扰人脸比对系统的识别结果,据介绍,目前市面上很多中小型企业在落地人脸识别应用时大多会选择采用上文测试的这几家互联网公司开放的人脸比对 SDK 或者 API 接口,如果他们人脸比对技术存在明显的安全漏洞,意味着更广泛的应用场景将存在安全隐患。


除了人脸比对外,对抗样本攻击还可能出现在目标检测的应用场景中,延伸来看,这可能会危害到工业、安防等领域的安全风险检测。比如某电网的输电塔的监控系统,由于输电塔的高安全性防护要求,防止吊车、塔吊、烟火破坏输电线路,需要对输电塔内外进行全天候的实时监控,而这实时监控系统背后就是基于目标检测的 AI 算法来提供保障。


而 RealAI 研究团队发现,只要通过 RealSafe 对其中的目标检测算法进行一定的对抗样本攻击,就会造成监控系统失效,导致其无法识别非常明显的烟火情形,类似情形如果真实发生,将可能带来难以估计的损失。


事实上,像以上提到的这些 AI 安全风险由于都是 AI 底层算法存在技术缺陷而导致,往往比较隐蔽,但牵一发动全身,这些“难以预见”的风险漏洞最有可能成为被攻破的薄弱环节,而 RealSafe 平台同步推出的防御解决方案则可以有效增强各应用领域中 AI 算法的安全性。

三、“零编码”+“可量化”,两大优势高效应对算法威胁

据介绍,RealAI 此次推出的算法模型安全检测平台,除了可以帮助企业高效应对算法威胁还具备以下两大优势:


• 组件化、零编码的在线测评: 相较于 ART、Foolbox 等开源工具需要自行部署、编写代码,RealSafe 平台采用组件化、零编码的功能设置,免去了重复造轮子的精力与时间消耗,用户只需提供相应的数据即可在线完成评估,学习成本低,无需拥有专业算法能力也可以上手操作。比如上文中针对第三方平台的测试,整个流程按照步骤提示完成,只需几分钟就可以查看到测评结果。


• 可视化、可量化的评测结果: 为了帮助用户提高对模型安全性的概念,RealSafe 平台采用可量化的形式对安全评测结果进行展示,根据模型在对抗样本攻击下的表现进行评分,评分越高则模型安全性越高。此外,RealSafe 平台提供安全性变化展示,经过防御处理后的安全评分变化以及模型效果变化一目了然。

四、落地安全周边产品,应用到更多场景

其实对抗样本原本是机器学习模型的一个有趣现象,但经过不断的升级演化,“对抗样本”已经演变成一种新型攻击手段,并开始从数字世界蔓延到物理世界。


所以,除了针对数字世界的算法模型推出安全评测平台,RealAI 团队也联合清华大学 AI 研究院围绕多年来积累的研究成果落地了一系列 AI 攻防安全产品,旨在满足更多场景的 AI 安全需求。


比如,攻击技术方面,RealAI 团队实现了世界首个通过“对抗样本”技术实现破解商用手机刷脸解锁,让手机将佩戴“特制眼镜”的黑客误识为机主。



图:世界唯一通过 AI 对抗样本技术攻破商用手机人脸解锁案例


通过在目标人服装上张贴特制花纹使 AI 监控无法检测到该人物,实现“隐身”,以及通过在车辆上涂装特殊花纹,躲避 AI 对车辆的检测。



图:通过 AI 对抗样本图案躲避 AI 车辆检测


在发现以上各种新型漏洞的同时,RealAI 也推出相应的防御技术,支持对主流 AI 算法中的安全漏洞进行检测,并提供 AI 安全防火墙对攻击 AI 模型的行为进行有效拦截。


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2020-04-09 07:051732
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 489.8 次阅读, 收获喜欢 1966 次。

关注

评论

发布
暂无评论
发现更多内容

阿里面试确实严格,面了整整5轮,还好我技高一筹!

Java 程序员 后端

震撼发布!阿里老兵亲手操刀微服务架构实战,整理出140个案例

Java 程序员 后端

面向对象知识点整理

Java 程序员 后端

面试前夕,你一定要先来看看阿里和京东都问些啥!(阿里+京东Java岗面试题概要

Java 程序员 后端

面试官求你别再问我hook了

CRMEB

MatrixDB 从 4018 个参赛项目中脱颖而出,荣获 HICOOL 全球创业大赛第三名!

YMatrix 超融合数据库

时序数据库 分布式时序数据库 Hicool

道与术丨华为云数据库战略启示录

华为云开发者联盟

数据库 opengauss 华为云 GaussDB 战略

面向对象-抽象性思想(知识整理)

Java 程序员 后端

面试太难?技术面考察太底层?二面被拒到收割阿里架构offer,复盘成功经历分享!

Java 程序员 后端

面试官再问分布式事务,求你看完这份至尊级分布式笔记,给年轻的面试官上一课

Java 程序员 后端

面试官问我什么是扩展自适应机制

Java 程序员 后端

面试官:多线程环境下,HashMap为什么会出现死循环?

Java 程序员 后端

面试官:小伙子先来说一下可能引起Java内存泄露的场景吧

Java 程序员 后端

面试字节、阿里等大厂后,总结了今年的Java面试必问的微服务面试题(含答案)

Java 程序员 后端

震惊!2022 年秋招 Java 后端开发岗竟然一片红海!算法岗都不香了吗?

Java 程序员 后端

面试中常见的问题总结

Java 程序员 后端

教你如何用Keras搭建分类神经网络

华为云开发者联盟

神经网络 keras 分类神经网络 MNIST 数字图像

面试官一口气问了MySQL事务、锁和MVCC,

Java 程序员 后端

面试官最喜欢问的Spring Boot知识点整理【附解答】(下)

Java 程序员 后端

面试官:Java-线程池中的线程复用是如何实现的?

Java 程序员 后端

阿里面试官:就说最后一遍,有关Spring这13点我们必问!

Java 程序员 后端

面试官:如何提升TCP三次握手的性能?(1)

Java 程序员 后端

面试官:如何提升TCP三次握手的性能?

Java 程序员 后端

面试官:小伙子你给我说说MySql并发事务处理细节

Java 程序员 后端

靠谱,这是我见过最好的编程指南了!赶快收藏吧,错过大学就白上了!

Java 程序员 后端

面试大厂一定离不开的——ThreadLocal,它的实现原理你知道吗

Java 程序员 后端

面试官:小伙子我们先来唠唠并发编程的几大核心知识点

Java 程序员 后端

面向对象设计的九大基本原则 (GRASP)

Java 程序员 后端

面试官都爱问的Spring源码:Spring与Mybatis高级整合

Java 程序员 后端

面试官:你如何利用-MySQL-Cluster-实现整体高可用?

Java 程序员 后端

面试官:数据库自增 ID 用完了会咋样?(1)

Java 程序员 后端

AI无间道!清华AI团队推出AI安全平台,欺骗顶尖人脸算法后又强势修复漏洞_AI&大模型_RealAI_InfoQ精选文章