2020 Google开发者大会重磅开幕 了解详情

Facebook发布神经蛋分离法,可从嘈杂环境中提取音视频

2018 年 11 月 29 日

Facebook发布神经蛋分离法,可从嘈杂环境中提取音视频

分离混合分布是机器学习和信号处理的长期挑战,而 Facebook 近日提出的新方法似乎可以有效解决这一难题。


人类天生善于分离个别声音和视觉效果,例如在拥挤的鸡尾酒会上听到别人的声音,或者在动物穿过灌木丛时发现动物。但依赖于机器学习的应用程序通常很难完成这项任务。解决这一问题的监督方法,包括对每个来源的样本进行培训,以及假定大量的训练数据都不一定能取得很好的效果,完全无监督的方法会使模型对混合信号源做出不准确的假设。


于是 Facebook 的研究人员提出了神经蛋分离法(Neural Egg Separation,简称 NES),据官方解释,这一方法的命名灵感来源于鸡蛋,意思是像分离蛋清和蛋黄一样把清晰的音视频从模糊的信号中提取出来。


这是一种半监督方法,结合了训练和估计的各个方面。在这一迭代方法中,系统通过将信号混合在一起并进行多个分析来分离已知和未知分布。在此过程中,系统逐渐将更多已知信号注入混合信号中,同时模型在隔离和提取时不断改进。实验表明,NES 明显优于采用类似监督的其他方法,即使对使用全面监督的系统,NES 方法也具有竞争力。


除了改善 ML 系统在逼真的杂乱和嘈杂条件下理解音频和视觉输入的能力之外,这种方法还可以通过应用增强人们隔离信号的自然能力。比如,可以应用在音乐会(或类似场景)中的音频、视频记录,或者开发基于 AR 的应用,用来实时放大特定音频源或视觉特征。


论文地址:


https://research.fb.com/publications/neural-separation-of-observed-and-unobserved-distributions/


2018 年 11 月 29 日 15:26 1046
用户头像
陈思 InfoQ编辑

发布了 527 篇内容, 共 182.9 次阅读, 收获喜欢 999 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

架构训练营 - 第 2周课后作业 - 学习总结

Pudding

第二周

scorpion

第二周总结

等燕归

为什么区块链巨头企业一定会诞生在中国的原因分析

CECBC区块链专委会

区块链 科技

金融科技推进数字金融“新基建”,着力建设三种类型数字金融基础设施

CECBC区块链专委会

金融 科技 科技革命

国内首个区块链村正式落地:数字经济的裂变之路

CECBC区块链专委会

区块链 数字经济

第二周学习框架设计总结

三板斧

架构师训练营第 1 期

架构师训练营第二周学习总结

第二周

等燕归

#第二周作业

vitaminc

OOA-OOD:面向对象分析/设计练习

张荣召

MySQL是如何实现可重复读的?

超超不会飞

MySQL

架构师训练营第二周作业

文智

架构师训练营第一期

案例分析--反应式编程框架Flower的设计

张荣召

[架构师训练营第1期]第二周学习总结

猫切切切切切

架构师训练营第 1 期

面向对象设计原则--开放关闭原则(OCP)

张荣召

Java中的遍历(遍历集合或数组的几种方式)

keaper

Java List java iterator 遍历

面向对象设计原则----里氏替换原则(LSP)

张荣召

面向对象设计原则----接口分离原则(ISP)

张荣召

graylog日志分析系统上手教程

MySQL从删库到跑路

Apache Linux 运维 日志分析 实时 Web 日志分析器

架构师训练营 - 第 2 周课后作业(1 期)

Pudding

深入理解JVM垃圾回收算法 - 标记整理算法

NORTH

标记整理 双指针算法 Lisp2 引线整理算法

第二周课后练习

区块链交易所系统开发源码,交易所搭建app

WX13823153201

面向对象设计原则----依赖倒置原则(DIP)

张荣召

从四个问题透析Linux下C++编译&链接

华为云开发者社区

c++ Linux 编程

面向对象设计原则----单一职责原则(SRP)

张荣召

华为:与全球180万云与计算开发者共成长,共创行业新价值

华为云开发者社区

架构师训练营 1 期 - 第二周总结(vaik)

行之

架构训练营-week2-作业

于成龙

作业 架构训练营

作业-2020-09-27

芝麻酱

Facebook发布神经蛋分离法,可从嘈杂环境中提取音视频-InfoQ