写点什么

微软北大造出超逼真 AI 换脸框架,顺便搞了个伪人脸检测器,网友:自造矛和盾?

  • 2020-01-07
  • 本文字数:1769 字

    阅读完需:约 6 分钟

微软北大造出超逼真AI换脸框架,顺便搞了个伪人脸检测器,网友:自造矛和盾?

以 Deepfake 为代表的 AI 换脸技术营造出的“以假乱真”的效果让人感到细思极恐,不过现有的一些生成工具还不能达到完全逼真的换脸效果,有的存在不少破绽,有的换脸效果很不自然,能轻易让人识别出来。近日,微软和北大的研究人员提出了一种新的 AI 换脸框架— FaceShifter,其能够大大提高换脸的高保真度。AI 换脸技术在爆红的同时也伴随着因滥用带来的隐忧,研究团队还提出了一种检测伪造人脸图像的方法—Face X-Ray,能够检测出复杂的伪造人脸图像。


近日,微软研究院和北京大学的研究团队发表了 2 篇学术论文,一篇关于生成高保真图像且能识别遮挡物的人脸交换框架— FaceShifter,另一篇关于检测伪造人脸图像的方法——Face X-Ray。


研究人员表示,这两项技术优于以前许多同类技术,所需数据也更少,且不会以牺牲性能代价。



微软的 FaceShifter 与现有方法对比


据了解,FaceShifter 能用源图像中的人替换掉目标图像中的人,同时保留了头部姿态、面部表情、光线、颜色、强度、背景和其他特征。但像 Reflect 和 FaceSwap 这样的应用程序声称也可以准确地做到这一点,但是微软论文的合著者表示,FaceShifter 对姿势和视角变化更加敏感。


FaceShifter 通过生成式对抗网络(GAN)来提高人脸交换的保真度,自适应嵌入集成网络(AEI-Net)是一款由一个生成器组成的 AI 模型,该生成器的作用是迷惑鉴别器,让鉴别器把合成的样本归类为真实样本。它可以在不同空间分辨率中提取属性。


值得一提的是,AEI-Net 整合了研究人员所称的注意力非正规化(AAD)层,该层可自适应地学习在哪里整合面部属性,而单独的模型“启发式错误识别细化网络(HEAR-Net)”,则利用了重建图像与其输入之间的差异来识别斑点遮挡。




来自 FaceShifter 上的示例


再来单独感受下周杰伦“换脸”的过程~



微软的研究团队表示,在定性测试中,FaceShifter 保留了人脸轮廓,并准确地还原了目标的光线和图像分辨率。此外,即使是从互联网上抓取的“陌生面孔”,该框架也学会了在不依赖人工标注数据的情况下恢复异常区域——包括眼镜、阴影和反射效果,以及其他遮挡物。


研究小组称,“这款框架在生成逼真的人脸图像方面表现优异。大量实验表明,该框架明显优于以前的人脸交换方法。”


与现有的框架不同的是,FaceShifter 不需要事先了解操作方法,也不用人工监督。相反,它生成灰度图像,提示给定输入图像是否能分解成不同来源的两张图片的混合。研究小组表示,这是可行的,因为大多数面部处理方法都有一个共同的步骤,那就是将改变过的脸部混合到现有的背景图像中。在混合过程中,每幅图像都夹杂着各自独特的标记,这些标记要么来自硬件(如传感器和透镜),要么来自软件组件(如压缩和合成算法),而且这些标记与整幅图像趋于融合。



我们再来说一说 Face X-Ray。Face X-Ray 不需要依赖与人脸“造假技术”相关的知识,并且,Face X-Ray 的算法可以在不通过任何方法生成伪图像的情况下进行训练。


与 FaceShifter 不同的是,Face X-Ray 的作用是用于检测伪造的虚假头像。目前,伪造头像被滥用的情况横行网络。去年 6 月,一份报告显示,一名间谍利用 AI 生成的个人资料图片欺骗了 LinkedIn 上的联系人,同年 12 月,Facebook 发现了数百个利用 AI 合成的假脸作头像的虚假账户。研究人员表示,确实需要像 Face X-Ray 这样的工具来检测深度伪造的图像。


FaceForensics ++是一个大型视频语料库,其中包含四种使用先进人脸操作方法操作的 1000 多个原始剪辑。研究人员在 FaceForensics ++上对 Face X-Ray 进行了训练。研究人员评估了 Face X-Ray 归纳四个数据集的能力,其中包括 FaceForensics ++语料库的一个子集;Google 发布的上千个可视化Deepfake视频;来自Deepfake检测挑战的图像; 以及一个包含 408 个真实视频和 795 个合成视频的语料库 Celeb-DF。


结果表明,Face X-Ray 能够分辨出以前从未见过的伪造图像,并能准确地预测混合区域。该团队指出,他们的方法是针对混合图像的,因此,它可能不适用于完全合成的图像,可能被对抗样本骗过。暂且撇开这个不谈,研究团队认为,这是迈向伪造人脸检测的重要一步。


原文链接:


https://venturebeat.com/2020/01/06/microsoft-researchers-propose-face-swapping-ai-and-face-forgery-detector/


论文链接:


FaceShifter:https://arxiv.org/pdf/1912.13457.pdf


Face X-ray:https://arxiv.org/pdf/1912.13458.pdf


2020-01-07 14:228445
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 571.6 次阅读, 收获喜欢 1979 次。

关注

评论 1 条评论

发布
用户头像
以彼之矛攻彼之盾,目前还是难分伯仲。但魔高一尺道高一丈,未来,相信检测深度造假的算法定会战胜深度造假算法。
2020-01-09 16:23
回复
没有更多了
发现更多内容

全栈工程师?你知道全流程工程师吗?

蜜糖的代码注释

Java 开发 后端技术

企业上云后,不容忽视的管理工具-云管平台

行云管家

云计算 企业上云 云管平台 云管理

恒源云(GPUSHARE)_AdderSR: Towards Energy Efficient Image Super-Resolution学习笔记

恒源云

人工智能 深度学习 计算机视觉

一款基于Java语言开发的,开源商业应用的模块化开发框架和智能管理平台-Axelor

马农驾驾驾

Java 系统开发 BPM 开发框架 智能管理

鉴释加入龙蜥社区,助力开源生态建设

OpenAnolis小助手

Linux 开源 社群 合作伙伴

五步实现HarmonyOS应用(ets)【鸿蒙开发 07】

坚果

鸿蒙 1月月更

2022年保障企业内网安全就用行云管家!免费试用!

行云管家

云计算 云平台 内网 云管平台

用 docker 快速搭建 kafka(qbit)

qbit

kafka zookeeper docker image

必读!如何有效的进行沟通

观测观测

在线YAML转TOML工具

入门小站

工具

鉴释加入龙蜥社区,助力开源生态建设

OpenAnolis小助手

Linux 开源

高并发环境下,6个构建缓存服务需要注意的问题

华为云开发者联盟

缓存 高并发 开发 并发 缓存服务

Spring Boot Admin 添加报警提醒和登录验证功能!

王磊

来自未来的交互设计!当电影中的一切变为现实,设计师要如何进化?

博文视点Broadview

基于Calcite的分布式多数据源查询

麒思妙想

MySQL 数据库 Apache Calcite gbase8a

Flutter启动流程分析之插件化升级探索

得物技术

flutter Weex Google 框架 原生

异步调用如何使用是最好的方式?

CRMEB

“在线设计”网络资源管理的源头活水

鲸品堂

通信运营商 在线设计平台

微信的业务架构图和学生管理系统的毕业设计

Geek_8d5fe5

架构实战营

“以终为始”的正确使用方式

石云升

思维模型 1月月更

流批一体技术框架探索及在袋鼠云数栈中的实践

袋鼠云数栈

☕【Java深层系列】「并发编程系列」让我们一起探索一下CompletionService的技术原理和使用指南

码界西柚

Java 线程池 CompletionService 异步执行 1月日更

从智能汽车到智慧出行,区块链能打通车联网的任督二脉吗?

CECBC

TiDB Cloud 上线亚马逊云科技 Marketplace,为全球用户提供云端一栈式实时 HTAP 数据库体验

PingCAP

第三方测评:GaussDB(for Redis)稳定性与扩容表现

华为云开发者联盟

redis 华为云 GaussDB(for Redis) NoSQL数据库 云原生NoSQL数据库

手把手教你丨小熊派移植华为 LiteOS-M

华为云开发者联盟

华为 鸿蒙 LiteOS 小熊派 移植

前端工程师 2022 年必备的 7 个工具

开源之巅

JavaScript node.js

携程DBA负责人俞榕刚:OceanBase在携程的落地和实践

OceanBase 数据库

数据库 分布式 OceanBase 开源 携程 客户实践

Linux之wc命令

入门小站

Linux

恒源云(GPUSHARE)_attention decoder效果不佳时如何应对

恒源云

深度学习 计算机视觉

农业掀起“上链”潮 区块链等数字技术正成为乡村振兴新动力

CECBC

微软北大造出超逼真AI换脸框架,顺便搞了个伪人脸检测器,网友:自造矛和盾?_AI&大模型_刘燕_InfoQ精选文章