写点什么

对话机器学习大神 Michael Jordan:深度模型

  • 2014-09-24
  • 本文字数:2081 字

    阅读完需:约 7 分钟

Michael I. Jordan 教授是机器学习领域神经网络的大牛,他对深度学习、神经网络有着很浓厚的兴趣。然而,在提问中,有些机器学习爱好者认为神经网络是一种无聊的、深层次的、重复出现的计算机结构。对于这点,乔丹教授做出了反驳。

乔丹教授表示,他非常高兴机器学习在开始对真实世界的问题产生影响。乔丹的老朋友 Yann LeCun 也是人工智能尤其是深度学习领域最知名的学者之一,他研发了众所周知的卷积神经网络。乔丹对于他和他朋友的工作正在得到肯定、推广以及发扬关大感到非常荣幸。

乔丹教授相对于术语“神经网络”用法的重塑形象,更偏向于“深度学习”。在其他的工程领域里,利用流水线、流程图和分层体系结构来构建复杂系统的想法非常根深蒂固。而在机器学习的领域,尤其应该研究这些原则来构建系统。这个词“深”仅仅意味着——分层,乔丹教授深深的希望这个语言最终演变成如此简单的文字。他希望并期待看到更多的人开发使用其他类型模块、管道的体系结构,并不仅仅限制在“神经元”的层次。

神经科学——在接下来几百年的重大科学领域之一——我们仍然不是很了解在神经网络中想法是如何产生的,仍然看不到作为思想的主要产生器的神经科学,如何能够在细节上打造推理和决策系统。相比之下,计算机领域的一些假设,比如“并行是好的”或者“分层是好的”,已经足以支撑人们对大脑工作机制的理解。

乔丹教授补充举例道,在神经网络的早期他还是一个博士研究生,反向传播算法还没有被发现,重点在 Hebb 规则和其他的“神经合理”的算法,任何大脑不能做的事情都被避免了。他们需要变得很纯粹来发现人们思考的新形式。接着 Dave Rumelhart 开始探索反向传播算法——这显然是跳出于神经合理约束的——突然这个系统变得如此强大。这对他产生了很深刻的影响。这告诉我们,不要对主题和科学的模型强加人工的限制,因为我们仍然还不懂。

乔丹教授的理解是,许多“深度学习成功案例”涉及了监督学习(如反向传播算法)和大量的数据。涉及到大量线性度、光滑非线性以及随机梯度下降的分层结构似乎能够记住大量模式的数字,同时在模式之间插值非常光滑。此外,这种结构似乎能够放弃无关紧要的细节,特别是如果在合适的视觉领域加上权重分担。它还有一些总体上的优点总之是一个很有吸引力的组合。但是,这种组合并没有“神经”的感觉,尤其是需要大量的数据标签。

事实上,无监督学习一直被认为是圣杯。这大概是大脑擅长什么,和真正需要什么来建立真的“大脑启发式电脑”。但是在如何区分真正的进步和炒作上还存有困难。根据乔丹的理解,至少在视觉方面,非监督学习的想法并没有对最近的一些结果负责,很多都是机遇大量数据集的监督训练的结果。

接近非监督学习的一种方式是将好的“特征”或者“表示”的各种正式特点写下来,并且将他们与现实世界相关的各种假设捆绑在一起。这在神经网络文学上已经做了很久,在深度学习工作背景下的也做出了更多的工作。但是乔丹认为,要走的路是将那些正式的特征放进放进优化函数或者贝叶斯先验,并且制定程序来明确优化整合它们。这将是很困难的,这是一个持续的优化的问题。在一些近期的深度学习工作中,有一个不同的策略——使用自己喜欢的神经网络结构来分析一些数据,并且说“看,这表达了那些想要的、并没有包括进去的性质”。这是旧式的神经网络推理,它被认为仅仅是“神经”,仅仅包含了某种特殊的调料。这个逻辑是完全没有用的。

最后,乔丹教授谈到了哲学的层面,他认为神经网络是工具箱中重要工具之一。但当他被业界咨询的时候,却很少提到那种工具。工业界里人往往期望解决一系列的问题,通常不涉及上文所说的神经网络的“模式识别”的问题。比如说如下这些问题:

(1) 该怎样建立一段时间内的预算的模型,能够让我得到想要精确程度的结果,并且不管我有多少数据?

(2) 怎样才能获得我的数据库所有查询的表现的有意义的错误信息或者其他衡量方法的信息?

(3) 怎样才能与数据库思维(如连接)合并统计思维,以使我能够有效地清除数据和合并异构数据源?

(4) 该如何可视化数据,一般我该如何减少我地数据并且将我的推论展示给别人,让他们理解这是怎么回事?

(5) 该如何做诊断,这样我就不会推出一个有缺陷地系统,或者找出一个现有地系统被损坏了?

(6) 该如何处理非平稳性?

(7) 该如何做一些有针对性地实验,其中合并了我巨大地现有数据集,以使我能够断言一些变量有一些因果关系?

虽然可以通过深度学习地方法来探讨这些问题,但一般学者都会在它们简单的建筑区块上找到更加通透的方法来解决它们。

最后,乔丹教授作出了总结,统计或者机器学习需要更加深入的与计算机科学系统和数据库接触,并不仅仅与具有人工智能的人。这一直是过去的几十年里正在进行的,并且直到现在仍然保持着“机器学习”的热点。乔丹教授从 2006 年到 2011 年在伯克利分校“RAD 实验室”,直到现在在“AMP 实验室”,在这段时间里一直都做着这样的事情。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-09-24 07:226296
用户头像

发布了 268 篇内容, 共 133.5 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

EI与MCP的故事

京东科技开发者

小支同学华为鲲鹏微认证——鲲鹏软件迁移实践、鲲鹏软件性能调优实践

巴库一郎

鸿蒙 HarmonyOS 鲲鹏 DevKit harmoyos 实践分享

如何通过DNS解析实现负载均衡?

国科云

组建小型局域网全攻略:6步搞定设备选择与网络搭建

Ogcloud

组网 局域网 企业组网 公司网络 局域网搭建

KET口语陪练APP的功能

北京木奇移动技术有限公司

软件外包公司 AI口语APP KET考试

LangChain4j如何自定义文档转换器实现数据清洗?

王磊

VMware ESXi 8.0U3e macOS Unlocker & OEM BIOS 集成 AQC 网卡驱动定制版

sysin

esxi

互联网人离职空窗,我该怎么回答HR最认可?

测试人

面试

中国主场!“世亚人工智能展·世亚智博会”重塑科技版图

AIOTE智博会

智博会 人工智能展 世亚智博会

用户旅程图用什么软件做?4个用户体验地图工具盘点!

职场工具箱

人工智能 产品经理 AIGC 绘图软件 用户旅程图

Java 原生异步编程与Spring 异步编程 详解

不在线第一只蜗牛

Java spring

信创BeeWorks-国产化企业级im即时通讯软件

BeeWorks

即时通讯 IM

用小猫的视角看世界——关于「小猫相机」的一点浪漫构想

花十君

小猫相机 浪漫视角 柔软镜头 猫咪视角

迭代器失效:99%的C++程序员都会踩的坑 !

秃头小帅oi

财务合同MCP实践

京东科技开发者

什么是基于知识图谱的多模态推理?

测试人

人工智能

2025链游爆款方法论:从Axie到AI跨链的破局路径

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 代币开发 代币开发公链开发

大型跨国企业搭建企业网络需要注意哪些方面?

Ogcloud

企业组网 企业网络 跨国网络 跨国企业组网

区块链钱包开发全解析:从架构设计到安全生态构建

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

信息化、数字化、数智化之间的区别和联系

积木链小链

数字化 信息化 智能制造

交易所开发-如何开发一个交易所

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

AI智能体:大模型之后的下个技术革命?

测试人

人工智能

为Java虚拟机分配堆内存大于机器物理内存会怎么样?

电子尖叫食人鱼

Java

HyperWorks分析模型的建立与边界条件施加

智造软件

CAE 仿真软件 Hypermesh

HarmonyOS沙箱文件管理与离线包加载机制解析

记忆深处的声音

鸿蒙 开发工具 HarmonyOS HarmonyOS NEXT 实践分享

CST软件如何将Altium的PCB板子导入CST

思茂信息

cst仿真软件 CST软件 CST Studio Suite

如何查看系统完整性:全面指南与实用工具推荐

运维有小邓

日志管理 日志审计系统 IT运维服务 文件完整性

什么是数据集市(Data Mart)?

镜舟科技

数据仓库 OLAP 数据集市 多维数据模型 在线分析处理

TextIn ParseX重磅功能更新:支持切换公式输出形式、表格解析优化、新增电子档PDF去印章

合合技术团队

人工智能 算法 #大数据

以细节诠释专业,用成长定义价值——对话@孟同学 |得物技术

得物技术

创新

AI编程新时代,CodeBuddy 带你来体验

六月的雨在InfoQ

AI编程 CodeBuddy CodeBuddy首席试玩官 AI 代码助手

对话机器学习大神Michael Jordan:深度模型_语言 & 开发_张天雷_InfoQ精选文章