对话机器学习大神 Michael Jordan：深度模型

Michael I. Jordan 教授是机器学习领域神经网络的大牛，他对深度学习、神经网络有着很浓厚的兴趣。然而，在提问中，有些机器学习爱好者认为神经网络是一种无聊的、深层次的、重复出现的计算机结构。对于这点，乔丹教授做出了反驳。

乔丹教授表示，他非常高兴机器学习在开始对真实世界的问题产生影响。乔丹的老朋友 Yann LeCun 也是人工智能尤其是深度学习领域最知名的学者之一，他研发了众所周知的卷积神经网络。乔丹对于他和他朋友的工作正在得到肯定、推广以及发扬关大感到非常荣幸。

乔丹教授相对于术语“神经网络”用法的重塑形象，更偏向于“深度学习”。在其他的工程领域里，利用流水线、流程图和分层体系结构来构建复杂系统的想法非常根深蒂固。而在机器学习的领域，尤其应该研究这些原则来构建系统。这个词“深”仅仅意味着——分层，乔丹教授深深的希望这个语言最终演变成如此简单的文字。他希望并期待看到更多的人开发使用其他类型模块、管道的体系结构，并不仅仅限制在“神经元”的层次。

神经科学——在接下来几百年的重大科学领域之一——我们仍然不是很了解在神经网络中想法是如何产生的，仍然看不到作为思想的主要产生器的神经科学，如何能够在细节上打造推理和决策系统。相比之下，计算机领域的一些假设，比如“并行是好的”或者“分层是好的”，已经足以支撑人们对大脑工作机制的理解。

乔丹教授补充举例道，在神经网络的早期他还是一个博士研究生，反向传播算法还没有被发现，重点在 Hebb 规则和其他的“神经合理”的算法，任何大脑不能做的事情都被避免了。他们需要变得很纯粹来发现人们思考的新形式。接着 Dave Rumelhart 开始探索反向传播算法——这显然是跳出于神经合理约束的——突然这个系统变得如此强大。这对他产生了很深刻的影响。这告诉我们，不要对主题和科学的模型强加人工的限制，因为我们仍然还不懂。

乔丹教授的理解是，许多“深度学习成功案例”涉及了监督学习（如反向传播算法）和大量的数据。涉及到大量线性度、光滑非线性以及随机梯度下降的分层结构似乎能够记住大量模式的数字，同时在模式之间插值非常光滑。此外，这种结构似乎能够放弃无关紧要的细节，特别是如果在合适的视觉领域加上权重分担。它还有一些总体上的优点总之是一个很有吸引力的组合。但是，这种组合并没有“神经”的感觉，尤其是需要大量的数据标签。

事实上，无监督学习一直被认为是圣杯。这大概是大脑擅长什么，和真正需要什么来建立真的“大脑启发式电脑”。但是在如何区分真正的进步和炒作上还存有困难。根据乔丹的理解，至少在视觉方面，非监督学习的想法并没有对最近的一些结果负责，很多都是机遇大量数据集的监督训练的结果。

接近非监督学习的一种方式是将好的“特征”或者“表示”的各种正式特点写下来，并且将他们与现实世界相关的各种假设捆绑在一起。这在神经网络文学上已经做了很久，在深度学习工作背景下的也做出了更多的工作。但是乔丹认为，要走的路是将那些正式的特征放进放进优化函数或者贝叶斯先验，并且制定程序来明确优化整合它们。这将是很困难的，这是一个持续的优化的问题。在一些近期的深度学习工作中，有一个不同的策略——使用自己喜欢的神经网络结构来分析一些数据，并且说“看，这表达了那些想要的、并没有包括进去的性质”。这是旧式的神经网络推理，它被认为仅仅是“神经”，仅仅包含了某种特殊的调料。这个逻辑是完全没有用的。

最后，乔丹教授谈到了哲学的层面，他认为神经网络是工具箱中重要工具之一。但当他被业界咨询的时候，却很少提到那种工具。工业界里人往往期望解决一系列的问题，通常不涉及上文所说的神经网络的“模式识别”的问题。比如说如下这些问题：

（1） 该怎样建立一段时间内的预算的模型，能够让我得到想要精确程度的结果，并且不管我有多少数据？

（2） 怎样才能获得我的数据库所有查询的表现的有意义的错误信息或者其他衡量方法的信息？

（3） 怎样才能与数据库思维（如连接）合并统计思维，以使我能够有效地清除数据和合并异构数据源？

（4） 该如何可视化数据，一般我该如何减少我地数据并且将我的推论展示给别人，让他们理解这是怎么回事？

（5） 该如何做诊断，这样我就不会推出一个有缺陷地系统，或者找出一个现有地系统被损坏了？

（6） 该如何处理非平稳性？

（7） 该如何做一些有针对性地实验，其中合并了我巨大地现有数据集，以使我能够断言一些变量有一些因果关系？

虽然可以通过深度学习地方法来探讨这些问题，但一般学者都会在它们简单的建筑区块上找到更加通透的方法来解决它们。

最后，乔丹教授作出了总结，统计或者机器学习需要更加深入的与计算机科学系统和数据库接触，并不仅仅与具有人工智能的人。这一直是过去的几十年里正在进行的，并且直到现在仍然保持着“机器学习”的热点。乔丹教授从 2006 年到 2011 年在伯克利分校“RAD 实验室”，直到现在在“AMP 实验室”，在这段时间里一直都做着这样的事情。

感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作，请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博（ @InfoQ ）或者腾讯微博（ @InfoQ ）关注我们，并与我们的编辑和其他读者朋友交流。