写点什么

微软北大造出超逼真 AI 换脸框架,顺便搞了个伪人脸检测器,网友:自造矛和盾?

2020 年 1 月 07 日

微软北大造出超逼真AI换脸框架,顺便搞了个伪人脸检测器,网友:自造矛和盾?

以 Deepfake 为代表的 AI 换脸技术营造出的“以假乱真”的效果让人感到细思极恐,不过现有的一些生成工具还不能达到完全逼真的换脸效果,有的存在不少破绽,有的换脸效果很不自然,能轻易让人识别出来。近日,微软和北大的研究人员提出了一种新的 AI 换脸框架— FaceShifter,其能够大大提高换脸的高保真度。AI 换脸技术在爆红的同时也伴随着因滥用带来的隐忧,研究团队还提出了一种检测伪造人脸图像的方法—Face X-Ray,能够检测出复杂的伪造人脸图像。


近日,微软研究院和北京大学的研究团队发表了 2 篇学术论文,一篇关于生成高保真图像且能识别遮挡物的人脸交换框架— FaceShifter,另一篇关于检测伪造人脸图像的方法——Face X-Ray。


研究人员表示,这两项技术优于以前许多同类技术,所需数据也更少,且不会以牺牲性能代价。



微软的 FaceShifter 与现有方法对比


据了解,FaceShifter 能用源图像中的人替换掉目标图像中的人,同时保留了头部姿态、面部表情、光线、颜色、强度、背景和其他特征。但像 Reflect 和 FaceSwap 这样的应用程序声称也可以准确地做到这一点,但是微软论文的合著者表示,FaceShifter 对姿势和视角变化更加敏感。


FaceShifter 通过生成式对抗网络(GAN)来提高人脸交换的保真度,自适应嵌入集成网络(AEI-Net)是一款由一个生成器组成的 AI 模型,该生成器的作用是迷惑鉴别器,让鉴别器把合成的样本归类为真实样本。它可以在不同空间分辨率中提取属性。


值得一提的是,AEI-Net 整合了研究人员所称的注意力非正规化(AAD)层,该层可自适应地学习在哪里整合面部属性,而单独的模型“启发式错误识别细化网络(HEAR-Net)”,则利用了重建图像与其输入之间的差异来识别斑点遮挡。




来自 FaceShifter 上的示例


再来单独感受下周杰伦“换脸”的过程~



微软的研究团队表示,在定性测试中,FaceShifter 保留了人脸轮廓,并准确地还原了目标的光线和图像分辨率。此外,即使是从互联网上抓取的“陌生面孔”,该框架也学会了在不依赖人工标注数据的情况下恢复异常区域——包括眼镜、阴影和反射效果,以及其他遮挡物。


研究小组称,“这款框架在生成逼真的人脸图像方面表现优异。大量实验表明,该框架明显优于以前的人脸交换方法。”


与现有的框架不同的是,FaceShifter 不需要事先了解操作方法,也不用人工监督。相反,它生成灰度图像,提示给定输入图像是否能分解成不同来源的两张图片的混合。研究小组表示,这是可行的,因为大多数面部处理方法都有一个共同的步骤,那就是将改变过的脸部混合到现有的背景图像中。在混合过程中,每幅图像都夹杂着各自独特的标记,这些标记要么来自硬件(如传感器和透镜),要么来自软件组件(如压缩和合成算法),而且这些标记与整幅图像趋于融合。



我们再来说一说 Face X-Ray。Face X-Ray 不需要依赖与人脸“造假技术”相关的知识,并且,Face X-Ray 的算法可以在不通过任何方法生成伪图像的情况下进行训练。


与 FaceShifter 不同的是,Face X-Ray 的作用是用于检测伪造的虚假头像。目前,伪造头像被滥用的情况横行网络。去年 6 月,一份报告显示,一名间谍利用 AI 生成的个人资料图片欺骗了 LinkedIn 上的联系人,同年 12 月,Facebook 发现了数百个利用 AI 合成的假脸作头像的虚假账户。研究人员表示,确实需要像 Face X-Ray 这样的工具来检测深度伪造的图像。


FaceForensics ++是一个大型视频语料库,其中包含四种使用先进人脸操作方法操作的 1000 多个原始剪辑。研究人员在 FaceForensics ++上对 Face X-Ray 进行了训练。研究人员评估了 Face X-Ray 归纳四个数据集的能力,其中包括 FaceForensics ++语料库的一个子集;Google 发布的上千个可视化Deepfake视频;来自Deepfake检测挑战的图像; 以及一个包含 408 个真实视频和 795 个合成视频的语料库 Celeb-DF。


结果表明,Face X-Ray 能够分辨出以前从未见过的伪造图像,并能准确地预测混合区域。该团队指出,他们的方法是针对混合图像的,因此,它可能不适用于完全合成的图像,可能被对抗样本骗过。暂且撇开这个不谈,研究团队认为,这是迈向伪造人脸检测的重要一步。


原文链接:


https://venturebeat.com/2020/01/06/microsoft-researchers-propose-face-swapping-ai-and-face-forgery-detector/


论文链接:


FaceShifter:https://arxiv.org/pdf/1912.13457.pdf


Face X-ray:https://arxiv.org/pdf/1912.13458.pdf


2020 年 1 月 07 日 14:225691
用户头像
刘燕 InfoQ记者

发布了 693 篇内容, 共 222.9 次阅读, 收获喜欢 1336 次。

关注

评论 1 条评论

发布
用户头像
以彼之矛攻彼之盾,目前还是难分伯仲。但魔高一尺道高一丈,未来,相信检测深度造假的算法定会战胜深度造假算法。
2020 年 01 月 09 日 16:23
回复
没有更多了
发现更多内容

打造创新模型,博睿数据首倡服务可达的数据链DNA

博睿数据

新疆重点人员管控平台搭建,可视化大屏

13823153121

连续三年入围 Gartner 容器竞争格局,阿里云容器服务新布局首次公开

阿里巴巴中间件

百度C++工程师的那些极限优化(内存篇)

百度Geek说

c++ C# 内存访问

图解 Docker 架构

xcbeyond

Docker 容器 4月日更

对话亚马逊云科技 WWSO 团队四位大咖,给你讲讲他们的职场故事~

亚马逊云科技 (Amazon Web Services)

什么情况下要招人?

石云升

团队建设 28天写作 职场经验 管理经验 4月日更

Oracle LogMiner 数据迁移实战

yintianwen

Java 数据库 后端 数据迁移 LogMiner

IPFS云算力挖矿系统开发|Filecoin算力挖矿搭建

薇電13242772558

区块链 存储

【论文分享】Presto: SQL on Everything(一)

小舰

4月日更

2021年3月券商App行情刷新及交易体验评测报告

博睿数据

博睿数据携数据链DNA创新理念,闪耀金融科技应用发展研讨会四川站

博睿数据

恒源云_Gpushare.com | RTX 3090独家训练实录:MMDetectionV2 + ResNeSt

恒源云

人工智能 深度学习 gpu CV nlp

如何从零开始学Python:(6)如何创建模块并运行?

广之巅

Python 4月日更

在数字化迁徙浪潮中,数据可信、数据共享、数据隐私安全缺一不可!

CECBC区块链专委会

大数据

借力云原生,预见医学影像“云阅片”和电子胶片的未来 | 精选案例

亚马逊云科技 (Amazon Web Services)

重读《重构2》- 搬移函数

顿晓

重构 4月日更

头条观察 | 从比特币的角度理解牛市暴跌

CECBC区块链专委会

比特币

JVM 读书笔记(二) 垃圾收集

U+2647

JVM 4月日更

什么是产品思维和产品意识?——课程总结

Deborah

悟透前端:JavaScript ES6模块的导入导出

devpoint

ES6 export export default

低代码与数字化校园应用案例:2周时间构建50+应用,直呼过瘾!

优秀

低代码 数字化校园

面向软件 IT 专业的高校大学生付费学习现状问卷调研

HQ数字卡

4月日更

区块链“进军”文娱产业将碰撞出哪些火花?

CECBC区块链专委会

娱乐

Ask Me Anything #1 我是新晋CNCF TOC张磊,你有什么想问我的?

阿里巴巴云原生

容器 开发者 运维 云原生 k8s

浪潮云洲链接入“星火•链网”,走向工业互联网的星辰大海

浪潮云

云计算

拒绝假货!LVMH与普拉达、卡地亚联手推出区块链平台AURA

CECBC区块链专委会

免费开源增强版 Elasticsearch 分支 OpenSearch 项目上线!现邀您加入开源社区!

亚马逊云科技 (Amazon Web Services)

Redis学习01

Hex

Redis 核心技术与实战

恒源云_Gpushare.com | 三步搞定GPU免费云端训练!

恒源云

人工智能 深度学习 gpu CV nlp

Android Camera开发系列:设置对焦模式模式

小驰嘻嘻

Camera; Android;

微软北大造出超逼真AI换脸框架,顺便搞了个伪人脸检测器,网友:自造矛和盾?-InfoQ