【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

专访微软 Face X-Ray 算法团队,图片自身“DNA”成防伪突破口

  • 2020-02-27
  • 本文字数:1998 字

    阅读完需:约 7 分钟

专访微软Face X-Ray算法团队,图片自身“DNA”成防伪突破口

2019 年 12 月,为了应对 AI 换脸技术滥用的情况,微软亚洲研究院提出了一种检测伪造人脸图像的方法——Face X-Ray,能够检测复杂的伪造人脸图像。

一个多月后,Face X-Ray 论文入选 CVPR 2020,微软亚洲研究院常务副院长郭百宁,微软亚洲研究院高级研究员陈栋在一场线上活动中解读了该论文。InfoQ 作为受邀媒体之一,就相关技术问题,对两位技术专家进行了采访。


自 Deepfake 诞生以来,围绕这项技术的丑闻层出不穷。“AI 换脸”成为了不少网络用户,尤其是社会名人的噩梦,换脸图片、视频在网络上层出不穷,甚至为一些色情网站、假新闻提供了“素材”。去年 6 月,一份报告显示,一名间谍利用 AI 生成的个人资料图片欺骗了 LinkedIn 上的联系人。同年 12 月,Facebook 发现了数百个利用 AI 合成的假脸做头像的虚假账户。


根据郭百宁博士的介绍:研究发现有 30%的用户是猜不出图片真假的。为了鉴别合成图片,微软推出了 Face X-Ray 算法。据介绍,该算法论文已入选 CVPR 2020。郭百宁表示,Face X-Ray 技术类似医院的 X 光,可以鉴别图片真假,不但能识别出图片是否进行过换脸操作,而且还能告诉用户换脸操作的边界。



目前,主流的换脸技术大概有两种:Face Reenactment、Face Replacement,DeepFake 就是基于后者开发的。为了鉴别这些技术生成的照片,业内花费了大量精力。比如,以前鉴别图片的真伪,需要搜集大量真假图片,再利用深度神经网络进行训练,微软亚洲研究院提出的上一代算法也是这样,训练 AI 分类器,让 AI 模型去“学习”大量的换脸图像,从而具有初步鉴别能力。


但是,用分类器的方法存在一个很大的问题,就是一定要收集大量换过脸的图片才能进行训练,而且二分类的方法还存在局限,即只有换脸图像采用的是已知换脸算法,鉴别才有可能达到较高识别率(99%以上),因为 AI 模型就是通过大量学习这些算法生成的人脸图像来提升识别能力的。一旦换脸图像采用了未知算法,其鉴别的识别率会大幅降低至 70%。


郭百宁介绍,Face X-Ray 具有通用性和可解释性,无论换脸图像是采用已知还是未知的算法,Face X-Ray 都可以有较高的识别率,平均达到 95%以上。此外,Face X-Ray 能明确指出合成图像的边界,让普通人也可以容易地理解这一方法的鉴别过程。


详细来说,研究人员在 FaceForensics ++ 上对 Face X-Ray 进行了训练。研究人员评估了 Face X-Ray 归纳四个数据集的能力,其中包括 FaceForensics ++ 语料库的一个子集,Google 发布的上千个可视化 Deepfake 视频,来自 Deepfake 检测挑战的图像 以及包含 408 个真实视频和 795 个合成视频的语料库 Celeb-DF。


结果表明,Face X-Ray 能够分辨出以前从未见过的合成图像,并能准确地预测混合区域。该团队指出,他们的方法是针对合成图像的,因此,它可能不适用于整张完全合成的图像。


注:FaceForensics ++ 是一个大型视频语料库,其中包含四种使用先进人脸操作方法操作的 1000 多个原始剪辑。


郭百宁进一步解释道:每张照片在拍摄的时候都是通过硬件,硬件里面有图像感知器,还要通过压缩(等技术),很多采集出来的图像都有自己的特色,可以说它具有 digital signature(数字签名),人眼看不到,但它是存在的。



不同的两张图像的数字签名,其噪音的特性不一样,都不是人眼能看得到的。例如,上图(a)组经过测试发现,数字签名只有一个。但是,在上图(b)组里就可以看到,有两个不同的数字签名。“每张图片的 DNA 是不一样的,我们把这个不同的 DNA 检测出来,这就是我们能找到的原因。”郭百宁说道。


另外,陈栋博士表示,对于深度学习网络,大数据是极其重要的。大数据可以有效防止过拟合,提高精度,但是带有人工标注的大数据的确很难获得。因此,现在学术上流行使用无监督、半监督,或者自监督的训练方式,减少数据的标注量。Face X-Ray 就使用自监督的方式进行训练,只需要大量的自然人脸图像即可,不需要任何人工标注,可以很轻松的使用大数据。


如今,Deepfake 已经渗透进了不少领域,解决假视频、假照片等问题迫在眉睫,很多技术大厂都开始了“清剿”Deepfake 视频、图片的行动,很多社交平台也纷纷表态要解决这一问题。微软希望通过换脸图像鉴别的最新技术突破,用技术手段去应对新技术所带来的一些问题。两位专家告诉记者:


微软希望每个人、每个组织和机构都能够使用人工智能技术并享受其带来的好处,让人工智能普及化。在微软,我们解决这一问题的途径之一是设立开发和研究人工智能与道德标准(AETHER)委员会。该委员会囊括了来自微软公司开发、研究、咨询和法律部门的高管,专注于积极制定内部政策,以及如何应对所出现的具体问题。AETHER 委员会审查和界定最佳实践,提供指导原则,指导微软人工智能产品和解决方案的开发和部署,并帮助解决微软人工智能研究、产品和客户沟通中产生的伦理和社会影响问题。


在多方力量联合之下,Deepfake 造成的影响或许有希望被遏制。


拓展阅读:Face X-Ray 论文:https://arxiv.org/pdf/1912.13458.pdf


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2020-02-27 15:481527
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 261.3 次阅读, 收获喜欢 1293 次。

关注

评论

发布
暂无评论
发现更多内容

TiDB 在全球头部物流企业计费管理系统的应用实践

PingCAP

数据库 开源 分布式 TiDB 物流系统

首个云原生、分布式、全栈国产化银行核心业务系统投产上线丨TiDB × 杭州银行

PingCAP

数据库 开源 云原生 TiDB 银行业

抖音APP如何实现用户生命周期提升

字节跳动数据平台

大数据 A/B测试 企业号 1 月 PK 榜 对比试验 数字化增长

GaussDB(for MySQL) RegionlessDB发布:全球数据库技术

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 华为云GaussDB(for MySQL)

极狐 GitLab 冷知识:使用 git push 创建 Merge Request

极狐GitLab

交易所做市机器人与去中心化做市机器人

区块链技术

存储程序和程序控制:开发经验分享及操作过程详解

天翼云开发者社区

存储 数据存储

企业为什么要进行数字化转型?七大原因

天津汇柏科技有限公司

数字化转型

“领导企业转型必修课” 3月23-24日敏捷领导力(CAL / ALJ)认证周末班【新年特惠】

ShineScrum捷行

领导力 组织转型 业务敏捷 高管教练 敏捷领导力

PingCAP上榜工信微报年度回顾《2023 年工业和信息化发展情况》 三大具有国际影响力的开源社区之一

PingCAP

数据库 开源 分布式 数字化 TiDB

持续构建行业影响力|HarmonyOS SDK荣膺年度“技术卓越”奖项

HarmonyOS开发者

HarmonyOS

微短剧市场暴涨267.65%,用微短剧场景AUI Kit精巧入局

阿里云视频云

云计算 视频云 微短剧

如何规避云服务宕机现象?

天翼云开发者社区

云计算 服务器 云服务

Mixtral 8X7B MoE模型基于阿里云人工智能平台PAI实践合集

阿里云大数据AI技术

BOE(京东方)供货荣耀Magic6系列 定义柔性OLED低功耗全新标准

科技热闻

“全球金牌课程”2024年3月9-10日 · CSM认证在线周末班【提前报名特惠】CST导师亲授

ShineScrum捷行

敏捷教练 ScrumMaster ScrumMaster认证

使用存储过程自动化分区管理 Zabbix MySQL(8) 数据库中的大表;

瀚中子🤩

青否互动式数字人的优势!

青否数字人

数字人

面试官:实际工作中哪里用到了自定义注解?

王磊

Java 面试

存储结构的种类与比较

天翼云开发者社区

数据 存储结构

持续构建行业影响力|HarmonyOS SDK荣膺年度“技术卓越”奖项

HMS Core

HarmonyOS

QEMU组件安装来啦

小齐写代码

入选人民网2023普惠金融优秀案例,合合信息旗下启信宝赋能银行对公信贷数字化转型

合合技术团队

银行 数字化 合合信息 启信宝

神州数码集团荣获“TiDB 社区最佳贡献企业”

PingCAP

数据库 开源 TiDB

Terraform 的开源替代:OpenTofu 宣布 GA!

SEAL安全

开源 Terraform OpenTofu

观测云产品更新 | 日志、场景仪表板、监控器等

观测云

可视化图表

加入openEuler训练营,一起探索开源世界的无限可能!

科技热闻

软件测试/测试开发/全日制/测试管理丨Web自动化测试价值与体系

测试人

软件测试

懋嘉信息加入飞桨技术伙伴计划,通过大模型助力人力管理智能化

飞桨PaddlePaddle

人工智能 深度学习 文心大模型

PingCAP 受邀参加 FICC 2023,获 Open100 世纪全球开源贡献奖

PingCAP

数据库 开源 分布式 TiDB pingCAP

大模型如何改变传统教学方式?《AI赋能教学实践》新课上线

飞桨PaddlePaddle

人工智能 深度学习

专访微软Face X-Ray算法团队,图片自身“DNA”成防伪突破口_AI&大模型_陈思_InfoQ精选文章