报名「音视频前端技术创新实践专场」,听腾讯云技术专家揭秘音视频相关技术>> 了解详情
写点什么

在元宇宙里怎么交朋友?Meta 发布跨语种交流语音模型,支持 128 种语言无障碍对话

  • 2021 年 11 月 23 日
  • 本文字数:1544 字

    阅读完需:约 5 分钟

在元宇宙里怎么交朋友?Meta发布跨语种交流语音模型,支持128种语言无障碍对话

改名 Meta 之后,Facebook 的元宇宙愿景正在一点点实现。这一次,Facebook 把目光投在了元宇宙社交上。

Meta 发布语音处理模型 XLS-R


近日,Meta 正式发布 XLS-R——一套用于各类语音任务的新型自监督模型。据悉,XLS-R 由海量公共数据训练而成(数据量是过去的十倍),能够将传统多语言模型的语言支持量增加两倍以上。目前,XLS-R 共支持 128 种语言。


Meta 认为,语音交流是人们最自然的一种交互形式。“随着语音技术的发展,我们已经能够通过对话同自己的设备及未来的虚拟世界直接互动,由此将虚拟体验与现实世界融为一体。”


这与扎克伯格此前宣称的“公司业务将以元宇宙优先”不谋而合。此前,扎克伯格曾概述了他建立“元世界”的计划:一个建立在我们自己的数字世界之上的数字世界,包括虚拟现实和增强现实。“我们相信元宇宙将会接替移动互联网”。


而 XLS-R 作为元宇宙社交中必不可少的一环,可以帮助母语不同的人在元宇宙无障碍对话。


值得一提的是,为了通过单一模型实现对多种语言的广泛语音理解能力,Meta 对 XLS-R 进行了微调,使其获得语音识别、语音翻译及语言识别等功能。据介绍,XLS-R 在 BABEL、CommonVoice 以及 VoxPopuli 语音识别基准测试,CoVoST-2 的外语到英文翻译基准测试,以及 VoxLingua107 语言识别基准测试中都取得了不错的成绩。


为了尽可能降低功能访问门槛,目前,Meta 与 Hugging Face 联手发布了模型本体,并通过 fairseq GitHub repo 全面开放。

XLS-R 工作原理


据介绍,XLS-R 在 wav2vec 2.0 训练集上接受了超过 43 万 6 千小时的公开语音录音训练,从而实现了对语音表达的自监督学习方法。这样的训练量已经达到去年发布的当时最强的模型 XLSR-53 的 10 倍。利用从会议记录到有声读物的多种语音数据来源,XLS-R 的语言支持范围扩展到 128 种,涵盖的语种量达到前代模型的近 2.5 倍。


作为 Meta 打造的有史以来最大模型,XLS-R 中包含超过 20 亿个参数,性能远高于其他同类模型。Meta 表示,事实证明,更多参数能够更充分地体现、数据集中的各类语种。此外,Meta 还发现,规模更大的模型在单一语言预训练方面的性能也同样优于其他较小模型。


Meta 在四种主要多语言语音识别测试中对 XLS-R 做出评估,发现它在 37 种语言上获得了超越以往模型的效能。具体测试场景为:BABEL 中选取 5 种语言,CommonVoice 中选取 10 种语言,MLS 中选取 8 种语言,以及 VoxPopuli 上选取 14 种语言。


BABEL 上的单词错误率基准测试结果。XLS-R 较前代模型实现了显著改进。


此外,Meta 还评估了语音翻译模型,即将录音资料直接翻译成另一种语言。为了打造一套能够执行多种任务的模型, Meta 同时在 CoVoST-2 基准测试的数个不同翻译方向上对 XLS-R 进行了微调,使其能够在英语与多达 21 种语言之间实现内容互译。


在使用 XLS-R 对英语以外的其他语言进行编码时,获得了显著的效能提升,这也是多语言语音表达领域的一次重大突破。据 Meta 介绍,XLS-R 在低资源语言学习中实现了显著改进,例如印尼语到英语的翻译,其中 BLEU 准确率平均翻了一番。BLEU 指标的提升是指模型给出的自动翻译结果与处理同一内容的人工翻译结果间重合度更高,代表着模型在改进口语翻译能力方面迈出了一大步。


以 BLEU 指标衡量的自动语音翻译准确率,其中较高值表示 XLS-R 从高资源语言(例如法语、德语)、中资源语言(例如俄语、葡萄牙语)或低资源语言(例如泰米尔语、土耳其语)语音记录翻译至英语时的准确率。


Meta 认为,XLS-R 证明扩大跨语言预训练规模可以进一步提高低资源语言的理解性能。它不仅提高了语音识别率,同时也将由外语到英语的语音翻译准确率提高了一倍以上。


“XLS-R 是我们朝着以单一模型理解多种不同语言(语音)目标迈出的重要一步,也代表着我们在利用公共数据推进多语言预训练方面做出的最大努力。我们坚信这是一条正确的探索方向,将让机器学习应用更好地理解所有人类语音、并促进后续研究,大大降低语音技术在全球范围内、特别是服务匮乏社群中的使用门槛。我们将不断开发新方法,通过低监督学习拓展模型的语言理解能力、逐步使其覆盖全球 7000 多种语言,实现算法的持续更新。”Meta 提到。

2021 年 11 月 23 日 14:001182

评论 1 条评论

发布
用户头像
未来从不是突然到来
2021 年 11 月 24 日 08:57
回复
没有更多了
发现更多内容

架构实战营第二周作业——微信朋友圈高性能复杂度

发酵的死神

架构实战营

🐧【Linux技术专题系列】「必备基础知识」一起探索(su、sudo等相关身份提权/身份切换机制)

浩宇天尚

Linux linux 文件权限控制 7月日更 Linux身份提权

golang解析---进程,线程,协程

en

Go 线程 进程 协程 goroutine

OLAP 扫盲

Galaxy数据平台

OLAP 高基数

夏季小伙伴们注意安全

IT蜗壳-Tango

7月日更

Discourse 调整使用不同的表情符号

HoneyMoose

Spark源代码::Spark多线程::NettyRpcEnv.ask解读

dclar

spark 多线程 Spark调优 源代码

一文搞懂二分查找面试

泽睿

算法 二分查找

模块-6 拆分电商系统为微服务

小遵

模块-1 微信业务架构图 和 备选方案

小遵

vivo S系列的爆款密码:自拍,自然,自出机杼

脑极体

项目管理实践篇(一):技术人如何做好风险把控

后台技术汇

项目管理

北鲲云计算,用技术成就生物科学领域发展

北鲲云

八位阿里大牛耗时三年总结出Java面试复盘手册!带你实现逆风翻盘

白亦杨

Java 编程 程序员

智能运维(AIOps)系列之四:智能运维落地的思路

micklongen

AIOPS 智能运维

华为18级工程师耗时三年才总结出这份Java亿级高并发核心编程手册

Java 编程 程序员

Spark SQL和DataFrames:内置数据源简介(四)

数据与智能

spark sparksq

模块2作业

Tina

深入了解Spring之MessageSource

邱学喆

MessageFormat MessageSource MessageSourceAware

模块一作业

A先生

要性能还是要模型?

escray

学习 极客时间 7月日更 如何落地业务建模

Liunx之chown命令

入门小站

Linux

架构实战营 模块二 作业

一雄

作业 架构实战营 模块二

【Flutter 专题】84 图解自定义 ACEWave 波浪 Widget (二)

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 7月日更

JDBC数据库链接的那些事

卢卡多多

JDBC 7月日更

分布式事务最经典的七种解决方案

叶东富

Go 数据库 分布式事务 微服务 TCC

架构实战营模块二作业

王晓宇

Python 正则表达式急速入门

喵叔

7月日更

2021年网络安全市场全景图,看看都有哪些企业吧!

郑州埃文科技

微服务架构服务容错设计分析

慕枫技术笔记

微服务 后端 架构·

金九银十马上要来了,我熬夜整理10 万字节详细面试笔记(带完整目录) 良心分享

Java 编程 程序员 架构 面试

在元宇宙里怎么交朋友?Meta发布跨语种交流语音模型,支持128种语言无障碍对话-InfoQ