GTLC全球技术领导力峰会·上海站,首批讲师正式上线! 了解详情
写点什么

Deepfake 防御新思路有了!腾讯首次公开 MagDR 框架,已被 AI 顶会接收

2021 年 4 月 01 日

Deepfake防御新思路有了!腾讯首次公开MagDR框架,已被AI顶会接收

近日,计算机视觉领域世界三大顶会之一的 CVPR 2021 论文接收结果出炉,本次接收率约为 27.3%,竞争十分激烈,腾讯安全研究团队 Blade Team 以其在 AI 安全领域的发现而成功入选。

腾讯首次公开 MagDR,为对抗 Deepfake 提供了新思路


本次,腾讯 Blade Team 被收录的论文题为 《MagDR:Mask-guided Detection and Reconstruction for Defending Deepfakes》,该论文首次公开了一种能够消除对抗样本对 Deepfake 干扰攻击的方法,该方法对防止深度伪造能力滥用提出了新思考。同时,也可用于提升 AI 图像处理的安全性。


论文链接:https://arxiv.org/abs/2103.14211


近年来,“AI 变脸”特效风靡全球,近期爆红的“蚂蚁呀嘿”再次掀起体验和讨论的热潮,这种源自人工智能生成对抗网络的新技术,能够利用深度学习技术识别并交换图片或视频中的原始人像,不仅制作过程简单,而且逼真度惊人,几乎能达到以假乱真的效果。



作为一项技术工具,Deepfake 有广泛的应用空间。语音合成能让计算机用人类的声音说出上百种语言,视频合成能让《速度与激情》里的 Paul Walker 复生,但若被滥用,也将带来巨大的风险,对身份识别和社会信任带来挑战,比如基于此衍生出来的一键脱衣应用 DeepNude。


那么,既然能用技术“造假”,能否用更强有力的技术去对抗?此前行业有研究显示,在源图像中加入人眼无法感知的对抗攻击,就能够通过对抗噪声来干扰 Deepfake 图像的生成结果,也就是说,通过在原图中加入人眼看不到的噪声,换脸模型就无法生成正确人脸了。


但这一对抗手段近期被证明仍有风险。腾讯 Blade Team 提出了一个全新的 MagDR(mask-guided detection and reconstruction)的二阶段框架。其核心思想在于使用一些非监督性指标对对抗样本在 Deepfake 中所生成的结果进行敏感性评估,并且利用人脸属性区域作为辅助信息以及通过对最优防御方法进行搜索组合的方式检测和重建图片,以期能够达到净化原图并保持 Deepfake 输出真实性的目的。


论文显示,腾讯安全研究员选取了 Deepfake 中较为重要的三个任务进行攻防实验,分别为 换脸、人脸属性修改以及表情变换。给原图增加噪声后,所产生的对抗样本尽管对原图进行了修改,但修改的程度明显低于人眼可察觉的水平而 Deepfake 模型产生的深度伪造视频却已经崩坏,无法以假乱真,其对 Deepfake 带来影响是灾难性的。


但当改为通过 MagDR 框架进行处理时,情况发生了变化。该模型首先对视频中的对抗攻击扰动进行检测,提醒 Deepfake 的使用者,所用图片或视频大概率存在对抗攻击的情况,然后通过重建视频模型,有效地将攻击者注入的对抗扰动进行消除,从而实现 Deepfake 模型相关系统的正常使用。



MagDR 框架不仅能够消除对抗扰动带来的破坏性影响,同时还保留了原图的各种像素细节,进而保证了重建后的 Deepfake 结果与原图结果一致。



这一发现表明,原先业界主流的主动性防御的方法(Deepfake 对抗扰动)不再可靠,为了避免社交网络上人脸照片被恶意使用,还需要找到更佳的 Deepfake 防御方案。


同时,腾讯 Blade Team 研究员也在此发现的基础上提出了安全建议,比如可以生成特定的对抗扰动,使得产生出的崩坏效果受到限制,更加真实以绕过目前 MagDR 的检测,或者说产生更难以被重建模块消除的鲁棒性对抗扰动。


研究员同时提出,希望大家可以对 MagDR 的组件或者整体结构进行调整与创新,以其作为新思路的创新点,产生出更为强大的防御框架从而防止 Deepfake 的恶意滥用,进一步地加强用照片或视频的安全性。技术在不断进步,只有“用 AI 对抗 AI”,才能让技术的安全应用走得更远。

Deepfake 被频频滥用,这次有救了?


合成图像和视频生成是计算机视觉一个不断发展的子领域,随着 2014 年生成对抗网络(Generative adversarial networks,GAN)的引入,这一领域得到了很大的发展。


Deepfake 是一种利用深度学习算法合成虚假图像、视频等技术的统称,最早由一位 Reddit 用户在 2017 年创造出来,他使用该技术制作名人的假色情作品。在随后几年的发展中,Deepfake 经常与用户隐私安全问题扯在一起。


2019 年,一位程序员出于娱乐目的利用 Deepfake 开发出的 DeepNude 应用让不少人直呼“节操掉了一地”。在这个 App 上,只要上传一张女性的照片,在神经网络技术的帮助下,DeepNude 可以自动“脱掉”女性身上的衣服,显示出裸体。令作者万万没想到的是,这款应用竟在短时间内得到了如此大规模的病毒式传播。试想,一旦 DeepNude 大规模滥用,对于女性的隐私权、名誉权将会带来巨大损害。


所幸,因为饱受争议,作者随后关闭了 DeepNude。不过有人认为直接下架应用破坏了信息自由传播的理念,他便收集了原应用的神经网络框架和训练模型,在 GitHub 上新建了一个开源的 DeepNude 项目。


GitHub 地址:https://github.com/yuanxiaosc/DeepNude-an-Image-to-Image-technology/blob/master/README-ZH.md


同年,ZAO 推出之时,其用户协议、隐私政策和版权说明的相关规定,被指有过滥收集用户信息和侵犯版权的嫌疑。不友好的用户协议更使得该应用一夜之间从刷屏变成遭万人指责。


当时“ZAO”的一条授权协议指出:用户上传发布内容后,即意味着同意授予 ZAO 及其关联公司以及 ZAO 用户在“全球范围内完全免费、不可撤销、永久、可转授权和可再许可的权利”,“包括但不限于可以对用户内容进行全部或部分的修改与编辑(如将短视频中的人脸或者声音换成另一个人的人脸或者声音等)以及对修改前后的用户内容进行信息网络传播以及《著作权法》规定的由著作权人享有的全部著作财产权利及邻接权利”。因安全性存疑,该用户协议被发现后立刻引发争议,虽然 ZAO 后来悄悄修改了其用户协议,以回应用户对其隐私泄露的质疑,但仍未能消除用户对它的担忧。


再到今年刷屏社交网络、让众多大佬齐唱“蚂蚁呀嘿”的 Avatarify,只用了不到一周的时间就从应用市场下架。Deepfake 技术被频频滥用已经引发了用户的强烈担忧,这也招致了部分用户的强烈抵制,很多科技公司也在寻找更加强大的 Deepfake 对抗扰动方法。


2019 年 12 月,为了应对 AI 换脸技术滥用的情况,微软亚洲研究院提出了一种检测伪造人脸图像的方法——Face X-Ray,能够检测复杂的伪造人脸图像,这一成果后来入选了 CVPR 2020。


如今,腾讯的 MagDR 框架也给出了一个可行的新思路,期待更多开发者可以以此为基础有更多好的想法来阻止 Deepfake 被用于不当之地。

关于 Deepfake 的立法监管已有进展


除了技术上的进展,各国也在监管层面加大力度。虽然 Deepfake 换脸技术是否侵权是一个比较难界定的问题,但是不同的国家和地区还是加强了监管。


此前,美国弗吉尼亚州正式宣布扩大复仇色情法,严禁经过“深度伪造”的内容,包括制作或操纵的视频和使用机器学习制作的图像等,利用 Deepfake 制作的黄色图像亦包括在内。如果违反该规则属于第一类轻罪,最高可判 12 个月的监禁,罚款额高达 2500 美元。


根据法律规定,未经许可分享某人视频的裸照照片是违法的 ,无论它是真实的还是假的。审查该法律的委员会将重点关注复仇色情和网络传输色情内容,其中包括利用蓝牙等允许基于邻近文件共享的技术将未经请求的性图像发送到人的手机上。


英国政府也在讨论一项法律,该法律专门涉及制作和分享非自愿的亲密图像,以应对滥用和冒犯性数字产品。讨论该法律的委员会将重点关注复仇性质的色情视频,以及利用 Deepfake 算法生成的色情内容。


去年,两会授权民法典正式文本发布。民法典人格权编中明确规定了不得用技术手段伪造等方式侵害他人肖像权,矛头直接指向 AI 换脸、变声。我国新颁布的民法典中第 1019 条规定:


任何组合或者个人不得以丑化、污损,或者利用信息技术手段伪造等方式侵害他人的肖像权。未经肖像权人同意,不得制作、使用、公开肖像权人的肖像,但是法律另有规定的除外。


未经肖像权人同意,肖像作品权利人不得以发表、复制、发行、出租、展览等方式使用或公开肖像权人的肖像。


而在此之前,我国的肖像权保护主要参照《民法通则》第一百条规定:


公民享有肖像权,未经本人同意,不得以营利为目的使用公民的肖像。


写在最后


2019 年,深度学习专家 Yann LeCun 曾在自己的推特上反思,要是他早先能够预料到卷积神经网络 (CNN) 会被滥用,当初还该不该开源 CNN 呢?


如果因为担忧技术风险而拒绝一切革命性技术的诞生,那么可能也就失去了研发 AI 的意义。技术本无错,只是被用错了地方。


团队介绍:


Tencent Blade Team 由腾讯安全平台部成立,专注于人工智能、移动互联网、物联网、云虚拟化等前沿技术领域的前瞻安全技术研究,目前已向 Apple、Amazon、Google、Microsoft、Adobe 等诸多国际知名公司报告并协助修复了 200 多个安全漏洞。

2021 年 4 月 01 日 14:071982
用户头像
赵钰莹 InfoQ高级编辑

发布了 693 篇内容, 共 406.5 次阅读, 收获喜欢 2265 次。

关注

评论

发布
暂无评论
发现更多内容

规模化敏捷框架何从入手?这篇文章把SAFe讲透了!

华为云开发者社区

敏捷开发 框架 safe

Java 细粒度锁续篇

rookiedev

Java 多线程 加锁

区块链农场游戏系统开发软件定制

系统开发咨询:I76-883I-5I52 邓森

关于昆明市政协、市统战部、民革昆明市委赴云南坤艮盈科技有限公司(商务部CECBC区块链专委会秘书处云南办事处)调研指导工作

CECBC区块链专委会

云南发展

编写令人愉悦的API接口(一)

陈云轩

Java 程序设计 API APi设计

用了这个评估优化LiteOS镜像利器,我有点飘...

华为云开发者社区

镜像 开发 环境配置

JVM 的运行时数据区域分布

rookiedev

Java JVM

学习笔记丨数据结构之二叉查找树

Liuchengz.

数据结构 C/C++ 数据结构与算法 高级数据结构

比特币的安全性到底有多高?

CECBC区块链专委会

比特币

总结近期腾讯+阿里+百度Java岗高频面试题,提问率高达98%,看到这篇文章基本offer稳了

Java成神之路

Java 程序员 架构 面试 编程语言

吊!设计模式全解:6大设计原则+23种设计模式+设计模式PK+设计模式混编

Java架构之路

Java 程序员 架构 面试 编程语言

“闭关修炼”这么久,吃透这些“微服务”笔记,足够面试涨10K

Java成神之路

Java 程序员 架构 面试 编程语言

拼多多技术3面(Java研发):幻影读+Redis+分布式缓存+锁机制

Java成神之路

Java 程序员 架构 面试 编程语言

区块链商城APP系统开发|区块链商城软件开发

开發I852946OIIO

系统开发

让你的简历不落窠臼,精雕细镂写一份真正的技术简历(Python向)

刘悦的技术博客

Python 面试 简历优化 简历

转型项目经理?

escray

面经 面试经历 101次面试 七日更 十日谈

FastAI:滴普技术荟:某工业产品内部结构尺寸图像测量和缺陷检测分析

滴普科技2048实验室

目标检测 图像处理 缺陷检测 AI测量 图像检测

FastAI:滴普技术荟:基于深度学习的云边一体化OLED屏缺陷自动光学检测技术

滴普科技2048实验室

学习 缺陷检测 云边一体 自动光学检测

京东三面凉凉:java+spring+jvm+kafka+微服务等一个都讲不清

Java成神之路

Java 程序员 架构 面试 编程语言

腾讯T4架构师:刷3遍以下面试题,你也能从小公司成功跳到大厂

Java架构之路

Java 程序员 架构 面试 编程语言

区块链矿机挖矿系统开发软件技术

系统开发咨询:I76-883I-5I52 邓森

LeetCode题解:92. 反转链表 II,迭代,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

假冒、诈骗、隐私安全,如何应对数字人民币的风险与挑战?

CECBC区块链专委会

货币

微服务架构太难了?那你可能还没掌握SpringBoot+SpringCloud+Docker+RabbitMQ

Java架构之路

Java 程序员 架构 面试 编程语言

远见而明察近观若明火|Centos7.6环境基于Prometheus和Grafana结合钉钉机器人打造全时监控(预警)Docker容器服务系统

刘悦的技术博客

Docker 高可用 监控 Prometheus 预警

使用 Helmfile 解放你的 Helm Chart

郭旭东

云原生 Helm

2020中国 .NET开发者大会精彩回顾:葡萄城高性能表格技术解读

Geek_Willie

GCExcel 中国 .NET开发者大会 表格技术

区块链矿机系统开发现成案例

系统开发咨询:I76-883I-5I52 邓森

号称大厂面试官的克星,“神仙版”Java面试宝典,“真”吊打大厂面试官

Java架构之路

Java 程序员 架构 面试 编程语言

Ribbon使用及其内核原理剖析

程序员Fox

FastAI:滴普技术荟:基于机器视觉的典型多目标追踪算法应用实践

滴普科技2048实验室

目标追踪 目标检测 追踪算法

如何打造一支有战斗力的技术团队?

如何打造一支有战斗力的技术团队?

Deepfake防御新思路有了!腾讯首次公开MagDR框架,已被AI顶会接收-InfoQ