写点什么

Facebook 发布神经蛋分离法,可从嘈杂环境中提取音视频

2018 年 11 月 29 日

Facebook发布神经蛋分离法,可从嘈杂环境中提取音视频

分离混合分布是机器学习和信号处理的长期挑战,而 Facebook 近日提出的新方法似乎可以有效解决这一难题。


人类天生善于分离个别声音和视觉效果,例如在拥挤的鸡尾酒会上听到别人的声音,或者在动物穿过灌木丛时发现动物。但依赖于机器学习的应用程序通常很难完成这项任务。解决这一问题的监督方法,包括对每个来源的样本进行培训,以及假定大量的训练数据都不一定能取得很好的效果,完全无监督的方法会使模型对混合信号源做出不准确的假设。


于是 Facebook 的研究人员提出了神经蛋分离法(Neural Egg Separation,简称 NES),据官方解释,这一方法的命名灵感来源于鸡蛋,意思是像分离蛋清和蛋黄一样把清晰的音视频从模糊的信号中提取出来。


这是一种半监督方法,结合了训练和估计的各个方面。在这一迭代方法中,系统通过将信号混合在一起并进行多个分析来分离已知和未知分布。在此过程中,系统逐渐将更多已知信号注入混合信号中,同时模型在隔离和提取时不断改进。实验表明,NES 明显优于采用类似监督的其他方法,即使对使用全面监督的系统,NES 方法也具有竞争力。


除了改善 ML 系统在逼真的杂乱和嘈杂条件下理解音频和视觉输入的能力之外,这种方法还可以通过应用增强人们隔离信号的自然能力。比如,可以应用在音乐会(或类似场景)中的音频、视频记录,或者开发基于 AR 的应用,用来实时放大特定音频源或视觉特征。


论文地址:


https://research.fb.com/publications/neural-separation-of-observed-and-unobserved-distributions/


2018 年 11 月 29 日 15:261080
用户头像
陈思 InfoQ编辑

发布了 572 篇内容, 共 197.5 次阅读, 收获喜欢 1150 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

手把手透析C语言堆内存申请malloc及扩容realloc

卓丁

c 堆内存管理 heap memory malloc realloc

Rust 遇上 C/C++ (一):数组操作

Coding Fatty

c c++ rust 编程语言

ARTS打卡第一周

Tom

学会推销自己

一尘观世界

创业 程序员 外包 销售 接项目

【ARTS】Week 1

Amos

ARTS 打卡计划

Python 3.6.1 官方文档练习——初入江湖(三)

Sicolas Flamel

Python python教程

你所不知道的淘宝325秘密

毒手疯波

ios 淘宝 325

Java 火焰图

wong

Java flamegraph

Refcard,近300份技术大咖总结的cheat sheet

KAMI

学习 开发 分享 作弊卡

我的 Windows Terminal 配置

FeiLong

Windows Terminal

职位拆解:互联网-运营

Breeze

行业资讯 移动互联网 运营 AARRR

LeetCode 1048. Longest String Chain

liu_liu

LeetCode

我的读书生涯-小学到大学: 没有成长, 只有不断加深的疑惑

lmymirror

人生 读书 经历 半虚构

Mobileye如何在云上进行深度学习模型训练

Randy

自动驾驶 学习 AI AWS

ARTS 第一周

Forelax

ARTS 打卡计划

利用树形结构辅助实现去重算法

卓丁

算法 algorithm tree Deduplication

从 Node 到 Deno

寇云

node.js deno

转行程序员浅谈Linux下的多线程编程

WB

Linux 多线程 转行程序员

ARTS打卡 week 1

猫吃小怪兽

ARTS 打卡计划

ARTS week 1

刘昱

别在发愁写页面了,强烈推荐几款傻瓜式扒网站神器!!

公众号:V5codings

LeetCode 241. Different Ways to Add Parentheses

liu_liu

LeetCode

游戏夜读 | 刀塔选手比较老吗?

game1night

向往优雅的代码

Janenesome

编码习惯 读书

【应用异常监控利器Sentry搭建与学习笔记】

卓丁

golang Docker Sertry Fasthttp CI/CD

Linux如何调试内存泄漏

程序喵大人

c c++ C#

leetcode练级-只出现一次的数字 升级版

幸福三寸日光

算法 LeetCode js

“数据资产”究竟是“数据”还是“资产”

马踏飞机747

大数据 数据中台 数据治理 数据资产

ARTS 01 - 为什么写作在远程工作中那么重要?

Calvin

ARTS 打卡计划

John 易筋 ARTS打卡Week 01

John(易筋)

ARTS 打卡计划

程序员的晚餐 | 5 月 24 日 咖喱鸡块

清远

美食

打造 VUCA 时代的 10 倍速 IT 团队

打造 VUCA 时代的 10 倍速 IT 团队

Facebook发布神经蛋分离法,可从嘈杂环境中提取音视频-InfoQ