专访微软 Face X-Ray 算法团队，图片自身“DNA”成防伪突破口

2019 年 12 月，为了应对 AI 换脸技术滥用的情况，微软亚洲研究院提出了一种检测伪造人脸图像的方法——Face X-Ray，能够检测复杂的伪造人脸图像。

一个多月后，Face X-Ray 论文入选 CVPR 2020，微软亚洲研究院常务副院长郭百宁，微软亚洲研究院高级研究员陈栋在一场线上活动中解读了该论文。InfoQ 作为受邀媒体之一，就相关技术问题，对两位技术专家进行了采访。

自 Deepfake 诞生以来，围绕这项技术的丑闻层出不穷。“AI 换脸”成为了不少网络用户，尤其是社会名人的噩梦，换脸图片、视频在网络上层出不穷，甚至为一些色情网站、假新闻提供了“素材”。去年 6 月，一份报告显示，一名间谍利用 AI 生成的个人资料图片欺骗了 LinkedIn 上的联系人。同年 12 月，Facebook 发现了数百个利用 AI 合成的假脸做头像的虚假账户。

根据郭百宁博士的介绍：研究发现有 30%的用户是猜不出图片真假的。为了鉴别合成图片，微软推出了 Face X-Ray 算法。据介绍，该算法论文已入选 CVPR 2020。郭百宁表示，Face X-Ray 技术类似医院的 X 光，可以鉴别图片真假，不但能识别出图片是否进行过换脸操作，而且还能告诉用户换脸操作的边界。

目前，主流的换脸技术大概有两种：Face Reenactment、Face Replacement，DeepFake 就是基于后者开发的。为了鉴别这些技术生成的照片，业内花费了大量精力。比如，以前鉴别图片的真伪，需要搜集大量真假图片，再利用深度神经网络进行训练，微软亚洲研究院提出的上一代算法也是这样，训练 AI 分类器，让 AI 模型去“学习”大量的换脸图像，从而具有初步鉴别能力。

但是，用分类器的方法存在一个很大的问题，就是一定要收集大量换过脸的图片才能进行训练，而且二分类的方法还存在局限，即只有换脸图像采用的是已知换脸算法，鉴别才有可能达到较高识别率（99%以上），因为 AI 模型就是通过大量学习这些算法生成的人脸图像来提升识别能力的。一旦换脸图像采用了未知算法，其鉴别的识别率会大幅降低至 70%。

郭百宁介绍，Face X-Ray 具有通用性和可解释性，无论换脸图像是采用已知还是未知的算法，Face X-Ray 都可以有较高的识别率，平均达到 95%以上。此外，Face X-Ray 能明确指出合成图像的边界，让普通人也可以容易地理解这一方法的鉴别过程。

详细来说，研究人员在 FaceForensics ++ 上对 Face X-Ray 进行了训练。研究人员评估了 Face X-Ray 归纳四个数据集的能力，其中包括 FaceForensics ++ 语料库的一个子集，Google 发布的上千个可视化 Deepfake 视频，来自 Deepfake 检测挑战的图像 以及包含 408 个真实视频和 795 个合成视频的语料库 Celeb-DF。

结果表明，Face X-Ray 能够分辨出以前从未见过的合成图像，并能准确地预测混合区域。该团队指出，他们的方法是针对合成图像的，因此，它可能不适用于整张完全合成的图像。

注：FaceForensics ++ 是一个大型视频语料库，其中包含四种使用先进人脸操作方法操作的 1000 多个原始剪辑。

郭百宁进一步解释道：每张照片在拍摄的时候都是通过硬件，硬件里面有图像感知器，还要通过压缩（等技术），很多采集出来的图像都有自己的特色，可以说它具有 digital signature（数字签名），人眼看不到，但它是存在的。

不同的两张图像的数字签名，其噪音的特性不一样，都不是人眼能看得到的。例如，上图（a）组经过测试发现，数字签名只有一个。但是，在上图（b）组里就可以看到，有两个不同的数字签名。“每张图片的 DNA 是不一样的，我们把这个不同的 DNA 检测出来，这就是我们能找到的原因。”郭百宁说道。

另外，陈栋博士表示，对于深度学习网络，大数据是极其重要的。大数据可以有效防止过拟合，提高精度，但是带有人工标注的大数据的确很难获得。因此，现在学术上流行使用无监督、半监督，或者自监督的训练方式，减少数据的标注量。Face X-Ray 就使用自监督的方式进行训练，只需要大量的自然人脸图像即可，不需要任何人工标注，可以很轻松的使用大数据。

如今，Deepfake 已经渗透进了不少领域，解决假视频、假照片等问题迫在眉睫，很多技术大厂都开始了“清剿”Deepfake 视频、图片的行动，很多社交平台也纷纷表态要解决这一问题。微软希望通过换脸图像鉴别的最新技术突破，用技术手段去应对新技术所带来的一些问题。两位专家告诉记者：

微软希望每个人、每个组织和机构都能够使用人工智能技术并享受其带来的好处，让人工智能普及化。在微软，我们解决这一问题的途径之一是设立开发和研究人工智能与道德标准（AETHER）委员会。该委员会囊括了来自微软公司开发、研究、咨询和法律部门的高管，专注于积极制定内部政策，以及如何应对所出现的具体问题。AETHER 委员会审查和界定最佳实践，提供指导原则，指导微软人工智能产品和解决方案的开发和部署，并帮助解决微软人工智能研究、产品和客户沟通中产生的伦理和社会影响问题。

在多方力量联合之下，Deepfake 造成的影响或许有希望被遏制。

拓展阅读：Face X-Ray 论文：https://arxiv.org/pdf/1912.13458.pdf