写点什么

国内首个 AI 安全大赛圆满收官!AI 安全风险已非未来挑战,而是眼前威胁

  • 2022-09-18
    北京
  • 本文字数:2312 字

    阅读完需:约 8 分钟

国内首个AI安全大赛圆满收官!AI安全风险已非未来挑战,而是眼前威胁

9 月 16 日,以“共筑 AI 安全 安享智能未来”为主题的 AISC 首届人工智能安全大赛圆满落幕。中科院院士、清华大学人工智能研究院名誉院长张钹,北京市科学技术委员会、中关村科技园区管理委员会党组成员、副主任张宇蕾,北京市经济和信息化委员会党组成员、副主任潘锋,工业和信息化部网络安全管理局数据安全处四级调研员张洪为活动致辞。


本次大赛由国家工业信息安全发展研究中心、清华大学人工智能研究院和北京瑞莱智慧科技有限公司等单位联合主办,系首个全国性人工智能安全赛事,旨在推动人工智能攻防技术创新、实战演练、场景挖掘和人才培养。

 

同期举办的主题论坛,邀请到多位院士专家、行业领袖、政企代表出席,共同探讨如何在未来智能的全新战场,打赢技术攻防之战。与会专家们表示,重视人工智能安全体系建设,既是当务之急,也是长远考虑,需加快促进人工智能安全领域关键技术研究与攻防实践。

AI 安全风险已非未来挑战,而是眼前威胁

 

试想一下,有人将一张“神奇的贴纸”放置在面部,就可以使人脸识别门禁系统误认为是你,从而轻而易举打开大门;同样是这张“神奇的贴纸”,把它放置在眼镜上,就可以 1 秒解锁你的手机人脸识别,探取你的隐私如入无人之境。这并非科幻大片的想象,而是首届人工智能安全大赛颁奖典礼现场展示的真实攻防场景。


人工智能和其他通用目的技术一样,在高歌猛进的同时,也带来了新的风险和隐患。主办方北京瑞莱智慧科技有限公司首席执行官田天认为,人工智能技术风险发生的范围正随着应用场景的日趋广泛而逐步扩大,风险发生的可能性也随着其应用频次的增长而持续提高。在他看来,人工智能当前的安全风险主要可以从“人”与“系统”这两个视角来剖析。


大赛工作人员演示对抗样本攻击人脸识别门禁系统

从人的视角来评估 AI 的安全问题,首当其冲就是技术的两面性问题,存在 AI 滥用甚至“武器化”的问题。具体到人工智能的应用中来看,最为典型的代表就是深度伪造技术,它的负向应用风险持续加剧且已产生实质危害。


而现场的人脸识别破解演示,所揭示的正是系统的风险,它来自于深度学习算法本身的脆弱性。以深度学习算法为核心的第二代人工智能是个“黑盒子”,具有不可解释性,意味着系统存在结构性的漏洞,可能受到不可预知的风险,典型的就比如现场演示的“神奇贴纸”,其实就是“对抗样本攻击”,通过在输入数据中添加扰动,使得系统作出错误判断。

 

这一漏洞在自动驾驶感知系统同样存在,瑞莱智慧演示了用对抗样本攻击自动驾驶汽车。正常情况下,在识别到路障、指示牌、行人等目标后,自动驾驶车辆就会立即停车,但在目标物体上添加干扰图案后,车辆的感知系统就会出错,径直撞上去。

 

在人工智能的全生命周期,不仅存在算法层面的安全性问题,算力作为人工智能发展的重要基础设施,也面临着诸多风险,推动人工智能算力基础设施安全发展具有重要意义。活动期间,由国家工业信息安全发展研究中心牵头,联合华为技术有限公司和北京瑞莱智慧科技有限公司共同撰写的《人工智能算力基础设施安全发展白皮书》正式发布。



《人工智能算力基础设施安全发展白皮书》正式发布


白皮书围绕人工智能算力基础设施安全发展的意义、内涵与体系架构、安全管理现状、发展建议等方面展开深入研究。白皮书指出,人工智能算力基础设施不同于传统的算力基础设施,既是“基础设施”又是“人工智能算力”也是“公共设施”,具有基建属性、技术属性、公共属性三重属性。相应地,推动人工智能算力基础设施安全发展应从强化自身安全、保障运行安全、助力安全合规三个方面发力,通过强化自身的可靠性、可用性与稳定性,保障算法运行时的机密性与完整性,提升用户的安全管控力、认可度与合规性等八个领域筑牢人工智能安全防线,打造可信、可用、好用的人工智能算力底座,营造安全、健康、合规发展的人工智能产业生态。


以赛促研、以赛育人,守护未来智能安全

 

安全的本质在于对抗升级,构建安全需要一个持续攻防演进的过程。田天表示,大赛聚焦人工智能真实应用场景中的典型漏洞及风险,以赛促建、以赛促研,通过考核参赛队伍的漏洞发现、漏洞挖掘等能力,探索新型安全需求场景,推动AI攻防技术创新,为强化人工智能治理体系与安全评估能力建设提供支撑。

 


瑞莱智慧首席执行官 田天

 

结合具体赛题来看,自动驾驶安全赛题和人脸识别安全赛题从攻击视角出发,通过让选手攻击目标模型挖掘算法漏洞,旨在发现更加稳定的攻击算法,以更好的实现准确评估模型的安全性。深度伪造安全赛题则通过分析伪造音视频的相似性,来溯源不同伪造内容是否来自同一种或同一类生物特征生成软件,以促进对深度伪造检测技术的发展,具有重要的现实意义。

 

构建人工智能的安全生态,一方面需要技术的持续演进,一方面也需要专项技术人才的建设与培养。田天表示,由于人工智能安全研究目前仍属于新兴领域,专项人才较少,缺乏系统性的研究队伍,本次大赛通过实战演练的方式,全方位验证和提升选手实战能力,为培育一批高水平、高层次的人工智能安全新型人才团队提供了“快速通道”。

 

自七月开启报名以来,大赛共吸引来自全国范围内 70 多所高等高校、科研院所、企业机构的超过 400 支团队,共计 600 余名选手的踊跃参与。经过三个月的激烈角逐,最终,上海交通大学联合战队“AreYouFake”与北京交通大学战队“BJTU-ADaM”分别摘得深度伪造安全与自动驾驶安全赛道桂冠,北京理工大学战队“DeepDream”与建信金科战队“Tian Quan&LianYi”共同位列人脸识别赛道第一名。

 

本次大赛供了技术交锋和思维碰撞的平台,通过竞赛的方式挖掘攻击与防御技术新思路,同时链接产业侧真实安全需求,为进一步强化人工智能安全攻防研究提供基础,也为推动人工智能安全标准及能力建设提供了重要支撑,助力我国人工智能产业的整体发展。

2022-09-18 18:301495
用户头像

发布了 456 篇内容, 共 144.1 次阅读, 收获喜欢 597 次。

关注

评论

发布
暂无评论
发现更多内容

性能优化:空调能耗节能的强化学习探索之路

鲸品堂

性能调优

三伏天口腔上火有口气?用这款牙膏降降火

Geek_50a546

黔唐百宜软件系统开发内容

Axie Infinity区块链游戏系统开发技术

薇電13242772558

区块链

云洲智造直播间来啦!精彩不停,速来观看

浪潮云

RAID 概念- RAID-0-1-5-10 的工作原理

学神来啦

Linux 运维自动化 linux运维 raid

IPFS挖矿靠谱吗?IPFS是什么项目是国家许可的吗?

加电软件系统开发详情

帮你理清学习一个知识点的过程

加百利

大前端 7月日更 primise

手把手教你,从零开始实战搭建SpringCloud Alibaba!这份笔记太牛了!

Java 架构 面试 微服务

等保二级与等保三级定级标准是怎样?哪个级别更高?

行云管家

网络安全 数据安全 等保 等级保护

号称下一代消息中间件!来看看它有多牛逼

白亦杨

Java

一个100%省力的,让城市管廊运维变得轻松的秘诀

一只数据鲸鱼

数据可视化 智慧城市 智慧管理 地下管廊

CloudQuery 使用教程之 No.5 组织架构

CloudQuery社区

sql dba 国产数据库 运维开发 数据库管控工具

VGC挖矿APP系统开发内容

容器安全最佳实践入门

百度开发者中心

容器

视频云的全景蓝图,想象力的允诺之地

阿里云视频云

阿里云 计算机视觉 云视频 超视频化 图像增强

网络攻防学习笔记 Day73

穿过生命散发芬芳

网络攻防 7月日更

保安小王分享:四面字节跳动,终拿Offer,只有努力,方能成功

Java架构师迁哥

双非本化学跨专业,投岗阿里/滴滴后端三面,最终拿下offer

Java 面试

思购趣拼APP系统开发内容

云服务器、虚拟主机以及服务器如何定义的?三者有什么区别?

行云管家

云计算 服务器 云服务器 虚拟主机

低代码行业未来如何?

优秀

低代码

社区活动|Apache Pulsar 社区志愿者招募

Apache Pulsar

大数据 云原生 pulsar Apache Pulsar 消息中间件

优米心选软件系统开发资料

走进Android架构!2021大厂Android面试经验

欢喜学安卓

android 程序员 面试 移动开发

完成GitHub个人主页设计,只需要这三步

百度开发者中心

GitHub 主页

金九银十吃透这份redis笔记文档,让你超过90%的面试者

Java redis 架构 面试

CGPay Pro钱包APP系统开发需求

Canny 边缘提取相关知识学习,图像处理第 32 篇博客

梦想橡皮擦

7月日更

FIL币价走势如何?FIL币价格未来多少钱一枚?

国内首个AI安全大赛圆满收官!AI安全风险已非未来挑战,而是眼前威胁_文化 & 方法_李冬梅_InfoQ精选文章