写点什么

对话机器学习大神 Michael Jordan:深度模型

  • 2014-09-24
  • 本文字数:2081 字

    阅读完需:约 7 分钟

Michael I. Jordan 教授是机器学习领域神经网络的大牛,他对深度学习、神经网络有着很浓厚的兴趣。然而,在提问中,有些机器学习爱好者认为神经网络是一种无聊的、深层次的、重复出现的计算机结构。对于这点,乔丹教授做出了反驳。

乔丹教授表示,他非常高兴机器学习在开始对真实世界的问题产生影响。乔丹的老朋友 Yann LeCun 也是人工智能尤其是深度学习领域最知名的学者之一,他研发了众所周知的卷积神经网络。乔丹对于他和他朋友的工作正在得到肯定、推广以及发扬关大感到非常荣幸。

乔丹教授相对于术语“神经网络”用法的重塑形象,更偏向于“深度学习”。在其他的工程领域里,利用流水线、流程图和分层体系结构来构建复杂系统的想法非常根深蒂固。而在机器学习的领域,尤其应该研究这些原则来构建系统。这个词“深”仅仅意味着——分层,乔丹教授深深的希望这个语言最终演变成如此简单的文字。他希望并期待看到更多的人开发使用其他类型模块、管道的体系结构,并不仅仅限制在“神经元”的层次。

神经科学——在接下来几百年的重大科学领域之一——我们仍然不是很了解在神经网络中想法是如何产生的,仍然看不到作为思想的主要产生器的神经科学,如何能够在细节上打造推理和决策系统。相比之下,计算机领域的一些假设,比如“并行是好的”或者“分层是好的”,已经足以支撑人们对大脑工作机制的理解。

乔丹教授补充举例道,在神经网络的早期他还是一个博士研究生,反向传播算法还没有被发现,重点在 Hebb 规则和其他的“神经合理”的算法,任何大脑不能做的事情都被避免了。他们需要变得很纯粹来发现人们思考的新形式。接着 Dave Rumelhart 开始探索反向传播算法——这显然是跳出于神经合理约束的——突然这个系统变得如此强大。这对他产生了很深刻的影响。这告诉我们,不要对主题和科学的模型强加人工的限制,因为我们仍然还不懂。

乔丹教授的理解是,许多“深度学习成功案例”涉及了监督学习(如反向传播算法)和大量的数据。涉及到大量线性度、光滑非线性以及随机梯度下降的分层结构似乎能够记住大量模式的数字,同时在模式之间插值非常光滑。此外,这种结构似乎能够放弃无关紧要的细节,特别是如果在合适的视觉领域加上权重分担。它还有一些总体上的优点总之是一个很有吸引力的组合。但是,这种组合并没有“神经”的感觉,尤其是需要大量的数据标签。

事实上,无监督学习一直被认为是圣杯。这大概是大脑擅长什么,和真正需要什么来建立真的“大脑启发式电脑”。但是在如何区分真正的进步和炒作上还存有困难。根据乔丹的理解,至少在视觉方面,非监督学习的想法并没有对最近的一些结果负责,很多都是机遇大量数据集的监督训练的结果。

接近非监督学习的一种方式是将好的“特征”或者“表示”的各种正式特点写下来,并且将他们与现实世界相关的各种假设捆绑在一起。这在神经网络文学上已经做了很久,在深度学习工作背景下的也做出了更多的工作。但是乔丹认为,要走的路是将那些正式的特征放进放进优化函数或者贝叶斯先验,并且制定程序来明确优化整合它们。这将是很困难的,这是一个持续的优化的问题。在一些近期的深度学习工作中,有一个不同的策略——使用自己喜欢的神经网络结构来分析一些数据,并且说“看,这表达了那些想要的、并没有包括进去的性质”。这是旧式的神经网络推理,它被认为仅仅是“神经”,仅仅包含了某种特殊的调料。这个逻辑是完全没有用的。

最后,乔丹教授谈到了哲学的层面,他认为神经网络是工具箱中重要工具之一。但当他被业界咨询的时候,却很少提到那种工具。工业界里人往往期望解决一系列的问题,通常不涉及上文所说的神经网络的“模式识别”的问题。比如说如下这些问题:

(1) 该怎样建立一段时间内的预算的模型,能够让我得到想要精确程度的结果,并且不管我有多少数据?

(2) 怎样才能获得我的数据库所有查询的表现的有意义的错误信息或者其他衡量方法的信息?

(3) 怎样才能与数据库思维(如连接)合并统计思维,以使我能够有效地清除数据和合并异构数据源?

(4) 该如何可视化数据,一般我该如何减少我地数据并且将我的推论展示给别人,让他们理解这是怎么回事?

(5) 该如何做诊断,这样我就不会推出一个有缺陷地系统,或者找出一个现有地系统被损坏了?

(6) 该如何处理非平稳性?

(7) 该如何做一些有针对性地实验,其中合并了我巨大地现有数据集,以使我能够断言一些变量有一些因果关系?

虽然可以通过深度学习地方法来探讨这些问题,但一般学者都会在它们简单的建筑区块上找到更加通透的方法来解决它们。

最后,乔丹教授作出了总结,统计或者机器学习需要更加深入的与计算机科学系统和数据库接触,并不仅仅与具有人工智能的人。这一直是过去的几十年里正在进行的,并且直到现在仍然保持着“机器学习”的热点。乔丹教授从 2006 年到 2011 年在伯克利分校“RAD 实验室”,直到现在在“AMP 实验室”,在这段时间里一直都做着这样的事情。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-09-24 07:226305
用户头像

发布了 268 篇内容, 共 133.8 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

反垄断专家如何看待区块链监管的发展方向

CECBC

固定价格项目能否敏捷?

Bruce Talk

敏捷 随笔 Agile

算法入门-选择排序

ES_her0

11月日更

2019中级Android开发面试解答之线程篇

android 程序员 移动开发

2019年百度Android面试题-公共技术点之-View-绘制流程

android 程序员 移动开发

eBPF: 让云原生运维拥有超能力

俞凡

云原生 网络 ebpf

2019-必看-Android-高级面试题总结

android 程序员 移动开发

2020作为一个资深的Android开发者需要掌握哪些技能?

android 程序员 移动开发

2020对标阿里P8,最强学习路线:Android小白—

android 程序员 移动开发

智+人:在云端重塑一场认知革命

脑极体

06 K8S之kubectl命令介绍

穿过生命散发芬芳

k8s 11月日更

12月面试ing-本以为学了个好找工作的Android开发,没想到又是坑---

android 程序员 移动开发

前端开发中使用纯函数提纯非纯函数

devpoint

JavaScript 纯函数 11月日更

如何提升口头表达能力?

石云升

表达 11月日更

2019-金九银十多家BAT大厂Android面试真题锦集干货整理

android 程序员 移动开发

2019已经很冷,2020年Android工作或更难找——进大厂面试必备基础技能

android 程序员 移动开发

2019年移动开发,我的改变之旅

android 程序员 移动开发

2020上半年百度Android岗(初级到高级)面试真题全收录+解析

android 程序员 移动开发

2020吊打面试官系列!Android大厂高级面试题 灵魂 100 问,你能答对多少?

android 程序员 移动开发

dart系列之:dart语言中的变量

程序那些事

flutter dart 程序那些事 11月日更

设计模式【3.2】-- JDK动态代理源码分析有多香?

秦怀杂货店

源码分析 动态代理

北鲲云超算平台如何为生命科学研究提供数据归档与存储服务?

北鲲云

2019寒冬之下,作为一个android码农,是如何进入腾讯的?

android 程序员 移动开发

200行代码打造超越一线互联网公司的换肤架构

android 程序员 移动开发

2018届android校招面试总结:百度,大疆,乐视

android 程序员 移动开发

攻击SSRF漏洞之Redis利用

喀拉峻

redis 网络安全 安全 信息安全 漏洞

2020字节跳动安卓程序员视频面试,这五点一定有助你顺利拿到offer

android 程序员 移动开发

10道阿里Android岗必问题摆这儿了,你爱刷不刷!(附参考回答解析

android 程序员 移动开发

15年手持4个大厂offer的我,今天面试今日头条体无完肤

android 程序员 移动开发

2020-Android-面试重难点(万字篇),字节

android 程序员 移动开发

2020Android高级开发面试题以及答案整理,持续更新中~

android 程序员 移动开发

对话机器学习大神Michael Jordan:深度模型_语言 & 开发_adam_InfoQ精选文章