写点什么

Facebook 发布神经蛋分离法,可从嘈杂环境中提取音视频

2018 年 11 月 29 日

Facebook发布神经蛋分离法,可从嘈杂环境中提取音视频

分离混合分布是机器学习和信号处理的长期挑战,而 Facebook 近日提出的新方法似乎可以有效解决这一难题。


人类天生善于分离个别声音和视觉效果,例如在拥挤的鸡尾酒会上听到别人的声音,或者在动物穿过灌木丛时发现动物。但依赖于机器学习的应用程序通常很难完成这项任务。解决这一问题的监督方法,包括对每个来源的样本进行培训,以及假定大量的训练数据都不一定能取得很好的效果,完全无监督的方法会使模型对混合信号源做出不准确的假设。


于是 Facebook 的研究人员提出了神经蛋分离法(Neural Egg Separation,简称 NES),据官方解释,这一方法的命名灵感来源于鸡蛋,意思是像分离蛋清和蛋黄一样把清晰的音视频从模糊的信号中提取出来。


这是一种半监督方法,结合了训练和估计的各个方面。在这一迭代方法中,系统通过将信号混合在一起并进行多个分析来分离已知和未知分布。在此过程中,系统逐渐将更多已知信号注入混合信号中,同时模型在隔离和提取时不断改进。实验表明,NES 明显优于采用类似监督的其他方法,即使对使用全面监督的系统,NES 方法也具有竞争力。


除了改善 ML 系统在逼真的杂乱和嘈杂条件下理解音频和视觉输入的能力之外,这种方法还可以通过应用增强人们隔离信号的自然能力。比如,可以应用在音乐会(或类似场景)中的音频、视频记录,或者开发基于 AR 的应用,用来实时放大特定音频源或视觉特征。


论文地址:


https://research.fb.com/publications/neural-separation-of-observed-and-unobserved-distributions/


2018 年 11 月 29 日 15:261068
用户头像
陈思 InfoQ编辑

发布了 567 篇内容, 共 193.3 次阅读, 收获喜欢 1127 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

这份GitHub上价值49K的SpringBoot2+Thymeleaf企业应用实战,真香

Java成神之路

Java 程序员 架构 面试 编程语言

数字货币交易所交易平台系统开发

系统开发咨询:I76-883I-5I52 邓森

京东三面凉凉:java+spring+jvm+kafka+微服务等一个都讲不清

Java成神之路

Java 程序员 架构 面试 编程语言

2020中国 .NET开发者大会精彩回顾:葡萄城高性能表格技术解读

Geek_Willie

GCExcel 中国 .NET开发者大会 表格技术

吊!设计模式全解:6大设计原则+23种设计模式+设计模式PK+设计模式混编

Java架构之路

Java 程序员 架构 面试 编程语言

Java 细粒度锁续篇

rookiedev

Java 多线程 加锁

合约跟单系统开发软件定制

系统开发咨询:I76-883I-5I52 邓森

LeetCode题解:92. 反转链表 II,迭代,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

“闭关修炼”这么久,吃透这些“微服务”笔记,足够面试涨10K

Java成神之路

Java 程序员 架构 面试 编程语言

学习笔记丨数据结构之二叉查找树

Liuchengz.

数据结构 C/C++ 数据结构与算法 高级数据结构

微服务架构太难了?那你可能还没掌握SpringBoot+SpringCloud+Docker+RabbitMQ

Java架构之路

Java 程序员 架构 面试 编程语言

规模化敏捷框架何从入手?这篇文章把SAFe讲透了!

华为云开发者社区

敏捷开发 框架 safe

让你的简历不落窠臼,精雕细镂写一份真正的技术简历(Python向)

刘悦的技术博客

Python 面试 简历优化 简历

远见而明察近观若明火|Centos7.6环境基于Prometheus和Grafana结合钉钉机器人打造全时监控(预警)Docker容器服务系统

刘悦的技术博客

Docker 高可用 监控 Prometheus 预警

研发团队如何实现无缝协作?

万事ONES

研发管理 团队协作 研发效能 研发工具

拼多多技术3面(Java研发):幻影读+Redis+分布式缓存+锁机制

Java成神之路

Java 程序员 架构 面试 编程语言

编写令人愉悦的API接口(一)

陈云轩

Java 程序设计 API APi设计

区块链矿机系统开发现成案例

系统开发咨询:I76-883I-5I52 邓森

区块链商城APP系统开发|区块链商城软件开发

开發I852946OIIO

系统开发

号称大厂面试官的克星,“神仙版”Java面试宝典,“真”吊打大厂面试官

Java架构之路

Java 程序员 架构 面试 编程语言

iOS面试基础知识 (四)

iOSer

ios 大厂面试 iOS面试 面试题总结 底层知识

成为分布式系统架构师,都要学哪些东西?该怎么学?

四猿外

Java 程序员 分布式 分布式系统 架构师

腾讯T4架构师:刷3遍以下面试题,你也能从小公司成功跳到大厂

Java架构之路

Java 程序员 架构 面试 编程语言

区块链矿机挖矿系统开发软件技术

系统开发咨询:I76-883I-5I52 邓森

软件测试之登录测试详解

测试人生路

软件测试

JVM 的运行时数据区域分布

rookiedev

Java JVM

SpringBoot事件监听机制及观察者/发布订阅模式详解

程序员小毕

Java 源码 架构 springboot 观察者模式

总结近期腾讯+阿里+百度Java岗高频面试题,提问率高达98%,看到这篇文章基本offer稳了

Java成神之路

Java 程序员 架构 面试 编程语言

用了这个评估优化LiteOS镜像利器,我有点飘...

华为云开发者社区

镜像 开发 环境配置

转型项目经理?

escray

面经 面试经历 101次面试 七日更 十日谈

区块链农场游戏系统开发软件定制

系统开发咨询:I76-883I-5I52 邓森

Facebook发布神经蛋分离法,可从嘈杂环境中提取音视频-InfoQ