写点什么

Facebook 人工智能负责人 Yann LeCun 谈深度学习的局限性

  • 2015-07-01
  • 本文字数:2238 字

    阅读完需:约 7 分钟

6 月 7 日到 12 日,世界顶级的计算机视觉会议 CVPR 在美国波士顿召开,会议邀请了 Facebook 人工智能实验室主任、NYU 数据科学中心创始人、深度学习界的泰斗 Yann LeCun 做了题为“What’s Wrong with Deep Learning?”的主题报告。早在 20 世纪 80 年代末,Yann LeCun 就作为贝尔实验室的研究员开发出了卷积网络技术,并使用它大幅度提高了手写字符的识别能力,目前美国许多手写支票依然是采用他的方法在进行处理。上世纪末到本世纪初,当神经网络失宠,Yann LeCun 是少数几名一直坚持研究的科学家之一。他于 2003 年成为纽约大学教授,在 2013 年底加入 Facebook 负责新成立的人工智能实验室,并一直引领着深度学习的发展。

最近几年,深度学习在自然图像理解和语音识别等多个领域产生了深远的影响。2006 年,Geoffrey Hinton 提出了深度学习。受益于大数据的出现和大规模计算能力的提升,深度学习已然成为最活跃的计算机研究领域之一。深度学习的概念源于人工神经网络的研究。在Yann LeCun 的报告中,首先回顾了人工神经网络的发展,也介绍了人工神经网络方法在字符识别、目标对象检测、语义分割等领域所取得的成功应用,但同时,他更多的指出了深度学习所面临的诸多的局限性。

首先,缺乏理论支持。对于深度学习架构,存在一系列的疑问,卷积神经网络为什么是一个好的架构(事实上其存在梯度散射等缺点),深度学习的结构需要多少隐层,在一个大的卷积网络中到底需要多少有效的参数(很多权重相互之间似乎都存在冗余),随机梯度下降方法优化权重得到一个局部最优值。虽然深度学习在很多实际的应用中取得了突出的效果,但这些问题一直困扰着深度学习的研究人员。深度学习方法常常被视为黑盒,大多数的结论确认都由经验而非理论来确定。不管是为了构建更好的深度学习系统,还是为了提供更好的解释,深度学习都还需要更完善的理论支撑。

其次,缺乏推理能力。深度学习技术缺乏表达因果关系的手段,缺乏进行逻辑推理的方法。解决这个问题的一种典型方法是将深度学习与结构化预测相结合。目前几个带有结构化预测模块的增强的深度学习系统已经被提出来用于OCR,身体姿态检测,和语义分割等任务中。总的来说,更多新的思路应该被提出以应用于需要复杂推理的任务中。尽管深度学习和简单推理已经应用于语音和手写字识别很长一段时间了,我们仍需要在大的向量上使用新的范式来代替基于规则的字符表达式操作。最终,那些结合了复杂推理和表示学习的系统将为人工智能带来巨大的进步。

第三,缺乏短时记忆能力。人类的大脑有着惊人的记忆功能,我们不仅能够识别个体案例,更能分析输入信息之间的整体逻辑序列。这些信息序列富含有大量的内容,信息彼此间有着复杂的时间关联性。例如在自然语言理解的许多任务(例如问答系统)中需要一种方法来临时存储分隔的片段,正确解释视频中的事件并能够回答有关它的问题需要记住的视频中发生的事件的抽象表示。包括递归神经网络在内的深度学习系统,都不能很好地存储多个时间序列上的记忆。这使得研究人员提出在神经网络中增加独立的记忆模块,如LSTM,记忆网络(Memory Networks),神经图灵机(Neural Turing Machines),和Stack 增强RNN(stack-Augmented RNN)。虽然这些方法很有意思,也取得了一定的成果,但在未来仍需要更多的新的思路。

最后,缺乏执行无监督学习的能力。无监督学习在人类和动物的学习中占据主导地位,我们通过观察能够发现世界的内在结构,而不是被告知每一个客观事物的名称。有趣的是,在机器学习领域,神经网络的复兴恰恰是在无监督学习取得不断进度的2000s 中期,虽然无监督学习可以帮助特定的深度网络进行“预训练”,但最终绝大部分能够应用于实践的深度学习方法都是使用纯粹的有监督学习。这并不能代表非监督学习在深度学习中没有作用,反而具有非常大的潜力,因为我们拥有的非标记数据比标记数据多得多,只是我们还没有找到很合适的非监督学习算法,非监督学习在未来存在巨大的研究空间。毫无疑问,今后计算机视觉的进步有赖于在无监督学习上取得突破,尤其是对于视频的理解。

深度学习可以让那些拥有多个处理层的计算模型来学习具有多层次抽象的数据的表示。这些方法在许多方面都带来了显著的改善,包括最先进的语音识别、视觉对象识别、对象检测以及许多其它领域,例如药物发现和基因组学等。当深度学习在业界掀起一片繁荣景象的时候, Yann LeCun 的报告在最恰当的时候为我们指出了深度学习当前所面临的局限性,同时也为大量深度学习的从业人员指明了未来需要攻克的方向。

值得补充的是,为纪念人工智能提出 60 周年,《Nature》杂志在 2015 年 5 月 28 日专门开辟了一个“人工智能 + 机器人”专题,发表多篇相关论文,其中包括了 Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton 首次合作的综述性文章 “ Deep Learning ”。文章介绍了深度学习的基本原理和核心优势,最后谈到深度学习的未来方向:1)无监督学习;2)深度学习在机器视觉和自然语言理解上的突破;3)深度学习与复杂推理的结合。这也正好契合了 Yann LeCun 在报告中所谈到的深度学习所面临的局限性。

Yann LeCun 在 CVPR 2015 上关于深度学习局限性的报告见这里,你也可以在 Hacker News 上参与相关的讨论。


本文由黄立威、张天雷整理,感谢徐川对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群)。

2015-07-01 09:385291
用户头像

发布了 268 篇内容, 共 134.2 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

尤雨溪几年前开发的“玩具 vite”,才100多行代码,却十分有助于理解 vite 原理

若川

JavaScript vue.js 前端 签约计划第二季

日常的情绪控制

搬砖的周狮傅

情绪控制

分布式系统的架构演进过程(二)

卢卡多多

28天写作 12月日更

Vue 3.2 发布了,那尤雨溪是怎么发布 Vue.js 的?

若川

JavaScript vue.js 前端 签约计划第二季

Prometheus Exporter (二十六)Statsd Exporter

耳东@Erdong

Prometheus 28天写作 exporter 12月日更 StatsD

Game On Serverless:SAE 助力广州小迈提升微服务研发效能

阿里巴巴云原生

阿里云 Serverless 云原生 SAE 合作

[Pulsar] DLQ原理

Zike Yang

Apache Pulsar 12月日更

前端开发:正确安装nvm的方法(非常详细)

三掌柜

28天写作 28 12月日更 12月

Apache APISIX 助力便利充电创领者小电,实现云原生方案

API7.ai 技术团队

运维 云原生 物联网 网关 Apache APISIX

何为异步流

喵叔

28天写作 12月日更

javascript中获取 DOM 元素的几种方式

你好bk

JavaScript 前端 大前端 DOM BOM

手把手教你提交Jar包到Maven公共仓库 | 萌新写开源02

Zhendong

Java maven

阿里Java编码手册实战详解-命名规范篇

JavaEdge

12月日更

信息

Nydia

效能研发:做一款GraphQL代码生成器

梁龙先森

签约计划第二季

让容器跑得更快:CPU Burst 技术实践

阿里巴巴云原生

阿里云 容器 云原生 cpu CPU调度

Structuring: 魔法诞生之法

mtfelix

28天写作

【docker 总结】第二篇 - Image 镜像

Brave

Docker 12月日更

手把手带你漫游语音识别世界|入门到实战

攻城先森

音视频 语音识别 内容合集 签约计划第二季

面试官:useLayoutEffect和useEffect的区别

全栈潇晨

React

初学者也能看懂的 Vue3 源码中那些实用的基础工具函数

若川

JavaScript vue.js 签约计划第二季

Kafka 在消息队列领域为何如此流行?

老周聊架构

kafka 内容合集 签约计划第二季

Vue 团队公开快如闪电的全新脚手架工具 create-vue,未来将替代 Vue-CLI,才300余行代码,学它!

若川

JavaScript vue.js 前端 签约计划第二季

前端工程建设那些事

梁龙先森

内容合集 签约计划第二季

面试官:react中的setState是同步的还是异步的

全栈潇晨

React

浅谈数据资产

圣迪

数据 数据资产

简历应该这样写

xcbeyond

面试技巧 28天写作 12月日更

大学生要远离宿舍

Tiger

28天写作

语音识别之降噪技术

攻城先森

音视频 语音识别 智能降噪 签约计划第二季

go语言技术探究--合集

en

内容合集 签约计划第二季

尤雨溪推荐神器 ni ,能替代 npm/yarn/pnpm ?简单好用!源码揭秘!

若川

JavaScript vue.js 前端 签约计划第二季

Facebook人工智能负责人Yann LeCun谈深度学习的局限性_语言 & 开发_张天雷_InfoQ精选文章