写点什么

ODE 网络:一场颠覆 RNN 的革命即将到来

  • 2019-03-30
  • 本文字数:1836 字

    阅读完需:约 6 分钟

ODE网络:一场颠覆RNN的革命即将到来

递归神经网络是当今最常见的人工智能应用程序的核心,但我们很快就发现,它们并不适合用来解决广义时间序列问题。现在已经有几个在使用中的替代解决方案,其中有一个是刚刚出现的——ODE 网络,它与我们思考解决方案的方式截然不同。


递归神经网络及其近亲 LSTM 是人工智能自然语言处理应用程序的核心。与其他形式的人工智能相比,RNN-NLP 在现实世界中的应用要多得多,包括使用卷积神经网络识别和处理图像。


从某种意义上说,数据科学家的队伍已经分成了两组,每一组都在追求使用这两种技术开发独立的应用。从应用角度来看,这两种技术基本上不会发生重叠,因为图像处理处理的是静态数据,而 RNN-NLP 是将语音和文本解释为时间序列数据。


虽然 RNN/LSTM 仍然是大多数 NLP 的首选技术,但我们越是试图扩展时间序列应用,遇到的麻烦就越多。即将出现的技术可能不只是 RNN 的修改版本,而是对其他几种创新人工智能方法的硬分支。

第一个分支:将 CNN 与 RNN 组合使用

第一个分支是我们去年提出的将 CNN 和 RNN 结合在一个神经网络中(详见《将CNN与RNN组合使用,天才还是错乱?》)。需要解决的问题与时间序列上的图像有关,即视频,而最常见的任务是视频场景标记。事实证明,这种技术对于识别和标记视频中的情感以及根据之前在视频中见过的人来识别某些类型的人也很有用。

第二个分支:时间卷积神经网络 TCN

去年,谷歌和 Facebook 都解决了 RNN 的第二类问题。因为要分析的数据扩展到 DNN 中的多个层,所以,在开始计算之前必须等待所有这些层都完成。这也意味着 MPP 实际上并不可行。虽然这个过程仍然很快,但不足以快到可以让实时语言翻译应用程序避免明显的延迟。


第二个分支导致这两家公司放弃了 RNN,转而采用一种他们称之为时间卷积神经网络(TCN)的 CNN 变体来进行实时翻译。这看起来很像添加了“Attention”功能的 CNN。因为它们的结构与 CNN 类似,所以可以应用 MPP,于是延迟就消失了。

第三个分支:不规则时间序列

还有一些其他类型的时间序列问题是 RNN 无法完美解决的。它们的主要是具有连续值或者希望将具有不同频率、持续时间和起始点的时间序列数据组合在一起系统。


最后这一个分支看起来并没有那么神秘。它描述的是这样的一种情况,在你去看不同的医生时,你会看到自己的医疗记录,你有不同的预约时间间隔,有不同剂量和时间间隔的用药情况,对这些药品等有不同的身体反应,并且你的身体在以某种可测量的方式变老、变强、变好或变坏。


这就是为什么人工智能的绝大多数医疗应用都只与图像识别有关。我们在使用不规则时序 AI 能力方面确实存在不足,无法很好地基于不规则时间序列数据得出预测结果。


一种解决方案是将并行的医疗记录分为几星期、几天甚至是几小时的离散步骤。理论上,这样可以满足 RNN 所要求的离散化。但问题是,为了获得最大的收益,你必须使用非常合适的时间桶,这样会增加计算成本和复杂性。还有一个问题,那就是很多时间桶可能不包含任何数据。


因此,预测社区和医疗社区都需要一个人工智能解决方案,其性能要优于目前的 RNN。

ODE 网络

去年 12 月在蒙特利尔举行的神经信息处理系统(NIPS)大会上,来自加拿大向量研究所的研究人员提出了人工智能时间序列建模的全新概念,并被评为大会四篇最佳论文之一。


他们的系统的名字叫作“ODE 网络”,是 Ordinary Differential Equation Net(常微分方程网络)的缩写。但不要被误导了,ODE 网络看起来一点也不像 DNN,它没有节点、层或互连。这是一种使用带有反向传播的黑盒微分方程解算器的方法,在连续和离散时间序列问题上都优于 RNN。换句话说,它更像是一个坚实的计算板,而不是可以被可视化为神经网络的东西。


这种方法带来了思维方式上的几个有趣的变化。例如,在使用 RNN 时,你可以指定层和其他超参数,然后运行实验,并查看所获得的准确性。


而在使用 ODE 网络时,在准确性和训练时间之间存在一个权衡。你指定了准确性级别,ODE 网络将会找到实现这一目标的最佳方法,但训练时间是变化的。如果训练时间长得让人无法接受,可以指定一个较低的准确性,以便加快训练过程。一个有趣的结果可能是在训练时指定高准确性,但在测试时可以指定较低的准确性。


这篇论文(https://arxiv.org/abs/1806.07366)的内容非常全面,并提供了几个实验的结果,其中的结果明显优于RNN。但它仍处于研究阶段,但与数据科学中的大多数东西一样,这并不需要很长时间就能走向应用。


英文原文:


https://www.datasciencecentral.com/profiles/blogs/the-coming-revolution-in-recurrent-neural-nets-rnns



2019-03-30 08:004232
用户头像

发布了 38 篇内容, 共 32.2 次阅读, 收获喜欢 209 次。

关注

评论

发布
暂无评论
发现更多内容

京东云无线宝产品部负责人张晓东 : 京东云无线宝与开源的亲密关系 | 《大神详解开源 BUFF 增益攻略》讲座回顾

Apache IoTDB

物联网 京东云 企业号九月金秋榜

【荣耀帐号服务】手把手教你快速上手快应用接入

荣耀开发者服务平台

数据库 前端 手机 服务器 honor

mysql优化---如何搭建mysql的主从关系和mycat中间件

Java快了!

如何快速开发灵活自定义报表

力软低代码开发平台

如何成为一个好的设计师 or 程序员?

宇宙之一粟

读书笔记 设计 技巧 知识 9月月更

经典面试题-定位不到元素

霍格沃兹测试开发学社

教你如何用CSS修改图片颜色

千锋IT教育

与未来对话:PingCAP 用户峰会亮点全放送

PingCAP

#TiDB

女生参加java培训前景如何

小谷哥

大数据培训机构如何选择

小谷哥

在武汉Java培训费用多少

小谷哥

深圳web前端培训费用多少?

小谷哥

Java 异步编程 (5 种异步实现方式详解)

Java-fenn

Java

低代码平台包罗万象,企业应该如何做出抉择?

ToB行业头条

21个大厂Offer?这份“Java核心技能精讲”轻松收割

收到请回复

Java 云计算 开源 架构 编程语言

6个月我从小厂逆袭,薪资上涨70%,坐上美团L8技术专家!

收到请回复

Java 云计算 开源 架构 编程语言

快速构建基本的SpringCloud微服务

Java-fenn

Java

拼多多、蚂蚁、字节2022届(大三)后端研发暑期实习

Java-fenn

Java

阿里分布式全栈手册,整整1000页,太顶了

程序知音

Java 架构 分布式 阿里 后端技术

如何通过C#/VB.NET在Excel中隐藏或显示网格线

在下毛毛雨

C# .net Excel

【Go】go build失败,报方法undefined

非晓为骁

Go 编译 go build

Java培训可以从事哪些工作

小谷哥

面试官:说说Java并发运行中的一些安全问题

Java-fenn

Java

C++ 左值引用与 const 关键字

Java-fenn

Java

深入浅出用户态协议栈

C++后台开发

后台开发 TCP/IP 网络协议栈 C++开发 用户态协议栈

字节二面:Redis 的大 Key 对持久化有什么影响?

程序知音

Java 数据库 redis 字节跳动 面试

设计模式之备忘录模式

Java-fenn

Java

Go 语言为什么建议定义零值可用的结构体?

Java-fenn

Java

史上最全大厂面试题复盘总结,全会进大厂拿35K没问题(Java岗)

收到请回复

Java 云计算 开源 架构 编程语言

LED显示屏人屏互动未来已来

Dylan

户外LED显示屏 led显示屏厂家

【CSM认证】11月1-4日在线工作日班 | 全国招生

ShineScrum

项目管理 Scrum Scrum Master 敏捷项目管理

ODE网络:一场颠覆RNN的革命即将到来_AI&大模型_William Vorhies_InfoQ精选文章