MIT最新研究:只听6秒语音,就知道说话者长相

2019 年 5 月 28 日

MIT最新研究:只听6秒语音,就知道说话者长相

MIT 构建“听音识人”神经网络


当听到一个人的声音时,即使没有看到他/她的脸,我们也会在心里为这个人的长相建立一个模型。有很多研究都表明:语言和外表之间有很强的联系,这在一定程度上是语言产生机制的直接结果,一个人的年龄、性别(影响声音的音调)、嘴巴的形状、面部骨骼结构、薄嘴唇或饱满的嘴唇——所有这些都能影响我们发出的声音。此外,人们说话的方式也与外表有所关联:语言、口音、速度、发音——这些语言的特性通常在不同的民族和文化中是相同的,反过来又可以转化为共同的身体特征。


近日 MIT 发表了一篇论文,挑战了一个看似不可能的任务:从一段简单的语音片段,重建一个人的面部图像。研究人员设计并训练了一个名为 Speech2Face 的深度神经网络,利用互联网以及 Youtube 上数百万人的自然视频来完成这项任务。


项目地址:https://speech2face.github.io/


论文地址:https://arxiv.org/pdf/1905.09773.pdf


在训练过程中,研究者们让模型学习了视听、语音和面部的相关性,使得它能够生成图像,捕捉说话者的各种身体特征,比如年龄、性别和种族。据介绍,这是一种自监督的方式,利用互联网视频中人脸和语音的自然共存,不需要显式地建模属性。MIT 的重建模型能够直接从音频中获得,通过数字量化的方式进行评估,从声音中重构出的语音人脸与说话人的真实面部图像是否相似,以及如何做到相似的。



图:上层图像为现实中的发音者,下层图像为 Speech2Face 模型产生的几个结果。MIT 在论文中特别指出:“我们的目标不是重建一个准确的人的图像,而是恢复与输入语音相关的物理特征。


研究人员设计了一种以短语音段的复杂谱图为输入,预测人脸特征向量的神经网络模型。更具体地说,设计者使用一个经过单独训练的重建模型,将预测的面部特征解码成人脸的标准图像。为了训练模型,MIT 使用了 AVSpeech 数据集,它由来自 YouTube 的数百万个视频片段组成,有超过 10 万人的语言数据。Speech2Face 是通过自我监督的方式训练的,只在视频中使用语音和人脸数据,不需要额外的信息,比如人类的注释。



图:语音-人脸模型和训练管道。神经网络的输入是一个复杂的声谱图,由说话人的短音频段计算而成;输出是 4096-D 人脸特征,使用预先训练的人脸解码器网络将其解码为人脸的规范图像,训练的模块用橘黄色做了标记。研究人员让训练网络回归到真实的人脸特征计算,将一个人的图像(视频中的代表性帧)输入到人脸识别网络中,并从其倒数第二层提取特征。


以前,通过语言预测年龄和性别已经得到了广泛研究,通过输入的声音首先预测人的声音的一些属性(例如年龄、性别等),然后从数据库图像中获取最适合预测的一组属性,或使用属性来生成一个图像。


然而,这种方法有几个限制:首先,从输入信号预测属性依赖于健壮而准确的分类器,通常需要地面真值标签进行监督。例如,通过语音预测年龄、性别或种族需要构建专门训练的分类器来捕捉这些属性。更重要的是,这种方法将预测的人脸限制为只与预定义的一组属性相似。


而 MIT 的目标是研究一个更普遍、更开放的问题:什么样的面部信息可以从言语中提取?


研究人员直接从语音预测完整的视觉外观(例如,一张人脸图像)的方法来探索这个问题,而不受限于预定义的面部特征。


具体来说,已有的实验展示了重建的面部图像可以作为一个“代理人”来传达“真实人”的视觉属性,包括年龄、性别和种族。除了这些主要特征,重建模型还揭示了颅面部特征(如鼻子结构)和声音之间不可忽视的相关性,并且是在没有先验信息或存在这些类型的精细几何特征的精确分类器的情况下实现的。此外,研究者认为:直接从语音预测人脸图像可能会有更加广泛的应用,例如,根据说话者的语音将生成一张有代表性的人脸,用以追踪犯罪分子等等。


伦理与隐私问题


虽然这是一个纯学术的调查,但 MIT 方面认为,由于面部信息的潜在敏感性,在论文中明确讨论一系列伦理问题的考虑是很重要的。


隐私问题


Speech2Face 神经网络模型不能从一个人的声音获取此人的真实身份(即面部精确图像),这是因为模型被训练来捕捉许多个体共有的视觉特征(与年龄、性别等相关),而且前提是:在有足够的证据将这些视觉特征与数据中的语音或言语属性联系起来的情况下。因此,该模型只会生成模糊的的面孔,且仅具有与输入语音相关的特征视觉特征,并不会生成特定个体的图像。


语音-面部相关性和数据集偏差


据介绍,Speech2Face 模型旨在揭示训练数据中面部特征与说话者声音之间存在的统计相关性,所使用的培训数据是从 YouTube 上收集的教育视频,并不代表全世界的人口外貌特征,因此,与任何机器学习模型一样,该模型也受到数据分布不均匀的影响。


更具体地说,如果一组说话者可能具有在数据中相对不常见的声音和视觉特征,那么针对这种情况,模型重构的质量可能会下降。例如,如果某一种语言没有出现在训练数据中,模型的重构就不能很好地捕捉到可能与该语言相关的面部特征。


MIT 在博客的文章着重强调:“我们预测的面部特征中有一些甚至可能与语言没有物理联系,例如头发的颜色或风格。然而,如果训练集中许多说话方式相似的人(例如,说同一种语言)也有一些共同的视觉特征(例如,共同的头发颜色或风格),那么这些视觉特征可能会出现在预测中。”


基于上述原因,MIT 表示希望对这项技术的任何进一步调查或实际应用进行仔细测试,以确保培训数据能够代表预期的用户群体。如果情况并非如此,则应广泛收集更具代表性的数据。


未来研究


根据 MIT 的文章介绍,这个项目仍然存在一些限制,需要在未来的研究中继续提升。


以下图为例,一个亚洲男性用英语和汉语说同一句话,有时候生成的是不同的人脸;另一个例子,即使一个亚洲女孩说的是英语,且没有明显的口音,模型仍然能够成功地提取出核心,重构出一张具有亚洲特征的脸。研究者表示,需要更彻底的检查来确定:模型生成的结果到底在多大程度上依赖于语言。


更多案例详见补充材料:


https://speech2face.github.io/supplemental/index.html



更普遍地说,从语言中捕捉潜在属性的能力,如年龄、性别和种族,取决于几个因素,如口音、语调或音高,在某些情况下,这些声音特征与人的外表并不匹配。几个典型的语音人脸不匹配例子如下图所示:



图:失败案例。(a)高音调的男性声音,例如孩子的声音,可能会生成具有女性特征的面部图像;(b)语言与种族不符;(c+d)年龄不匹配。



2019 年 5 月 28 日 08:108329

评论

发布
暂无评论
发现更多内容

用60行代码实现一个高性能的圣诞抽抽乐H5小游戏(含源码)

徐小夕

Java 前端 H5游戏 H5

iOS面试基础知识 (一)

iOSer

ios 面试 runtime 编程开发 iOS Developer

《数据结构与抽象:Java语言描述》.pdf

田维常

数据结构

牛皮了!头一次见有大佬把Java语言中最为晦涩的知识点「并发编程」详解得如此清晰明了。

Java成神之路

Java 程序员 架构 面试 编程语言

恕我直言!有了这份MySQL学习文档,你收藏夹里的其他MySQL学习资料都可以扔了

Java架构之路

Java 程序员 架构 面试 编程语言

DeFi流动性挖矿系统开发(案例源码开发)

系统开发咨询1357O98O718

defi流动性挖矿系统开发

DeFi流动性挖矿系统开发详解方案

系统开发咨询1357O98O718

defi流动性挖矿系统开发

区块链信息共享应用落地搭建解决方案

t13823115967

区块链+ 区块链应用 信息共享

分享一个GitHub上最火的SpringCloud微服务商城系统项目实战,附全套教程

Java成神之路

Java 程序员 架构 面试 编程语言

挖矿矿池系统开发详情丨挖矿矿池源码案例

系统开发咨询1357O98O718

挖矿矿池系统开发案例 旷工系统开发功能

EPBC环保生态链系统开发案例丨环保生态链EPBC源码平台

系统开发咨询1357O98O718

环保链APP系统开发案例

SGY奇点交易所系统软件开发|SGY奇点交易所APP开发

开發I852946OIIO

系统开发

新思科技最新报告显示开源安全是首要考虑因素

InfoQ_434670063458

仅凭这份Java大纲笔记,我如愿拿到了阿里offer。

Java架构之路

Java 程序员 架构 面试 编程语言

超详细讲解!Android面试真题解析火爆全网,搞懂这些直接来阿里入职

欢喜学安卓

android 编程 程序员 面试 移动开发

推荐一个GitHub上超牛b的Java进阶学习项目《Java成神之路》!已整理成了文档版本

Java成神之路

Java 程序员 架构 面试 编程语言

某美女的程序员老公半夜都还不回家,原来是偷偷在公司看Redis+JVM+Spring cloud+MySQL技术文档

Java架构之路

Java 程序员 架构 面试 编程语言

Scala中String和Int隐式转换的问题分析

木子李G

scala 大数据 编程 隐式转换

Mybatis动态映射,so easy啦

田维常

区分Protobuf 3中缺失值和默认值

新世界杂货铺

golang protobuf

区块链BaaS应用平台开发

13828808769

阿里架构师经验分享!啃完999页Android面试高频宝典,面试心得体会

欢喜学安卓

android 程序员 面试 移动开发

四币连发平台系统开发详解丨四币连发源码(案例)

系统开发咨询1357O98O718

四币连发系统开发案例详解

四面腾讯pcg后端开发岗,一个星期面完成功拿到20K的offer。分享面经

Java架构之路

Java 程序员 架构 面试 编程语言

还有谁比阿里人更懂SpringCloud Alibaba 呢?P8大牛纯手打笔记免费分享!

Java架构之路

Java 程序员 架构 面试 编程语言

架构师训练营第八周作业

李日盛

算法

Github 2020 年度报告:你以为新冠击溃了开发者?不!他们创造了更多代码...

阿里巴巴云原生

开源 Serverless 程序员 代码 开源代码

智慧警务开发,二维码定位报警系统搭建

t13823115967

智慧公安 智慧公安扫码

最近面试了一波Java程序员,有好几位80后的,按理说是老司机了,没想到一问三不知!

Java成神之路

Java 程序员 架构 面试 编程语言

死皮赖脸地找一位前阿里P8得大佬请教怎么学习微服务,他随手甩给我一份内部SpringCloud笔记手册,真香!

Java成神之路

Java 程序员 架构 面试 编程语言

公安大数据分析系统开发方案,情报研判系统建设

WX13823153201

公安大数据分析系统开发

MIT最新研究:只听6秒语音,就知道说话者长相-InfoQ