“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

对话机器学习大神 Michael Jordan:深度模型

  • 2014-09-24
  • 本文字数:2081 字

    阅读完需:约 7 分钟

Michael I. Jordan 教授是机器学习领域神经网络的大牛,他对深度学习、神经网络有着很浓厚的兴趣。然而,在提问中,有些机器学习爱好者认为神经网络是一种无聊的、深层次的、重复出现的计算机结构。对于这点,乔丹教授做出了反驳。

乔丹教授表示,他非常高兴机器学习在开始对真实世界的问题产生影响。乔丹的老朋友 Yann LeCun 也是人工智能尤其是深度学习领域最知名的学者之一,他研发了众所周知的卷积神经网络。乔丹对于他和他朋友的工作正在得到肯定、推广以及发扬关大感到非常荣幸。

乔丹教授相对于术语“神经网络”用法的重塑形象,更偏向于“深度学习”。在其他的工程领域里,利用流水线、流程图和分层体系结构来构建复杂系统的想法非常根深蒂固。而在机器学习的领域,尤其应该研究这些原则来构建系统。这个词“深”仅仅意味着——分层,乔丹教授深深的希望这个语言最终演变成如此简单的文字。他希望并期待看到更多的人开发使用其他类型模块、管道的体系结构,并不仅仅限制在“神经元”的层次。

神经科学——在接下来几百年的重大科学领域之一——我们仍然不是很了解在神经网络中想法是如何产生的,仍然看不到作为思想的主要产生器的神经科学,如何能够在细节上打造推理和决策系统。相比之下,计算机领域的一些假设,比如“并行是好的”或者“分层是好的”,已经足以支撑人们对大脑工作机制的理解。

乔丹教授补充举例道,在神经网络的早期他还是一个博士研究生,反向传播算法还没有被发现,重点在 Hebb 规则和其他的“神经合理”的算法,任何大脑不能做的事情都被避免了。他们需要变得很纯粹来发现人们思考的新形式。接着 Dave Rumelhart 开始探索反向传播算法——这显然是跳出于神经合理约束的——突然这个系统变得如此强大。这对他产生了很深刻的影响。这告诉我们,不要对主题和科学的模型强加人工的限制,因为我们仍然还不懂。

乔丹教授的理解是,许多“深度学习成功案例”涉及了监督学习(如反向传播算法)和大量的数据。涉及到大量线性度、光滑非线性以及随机梯度下降的分层结构似乎能够记住大量模式的数字,同时在模式之间插值非常光滑。此外,这种结构似乎能够放弃无关紧要的细节,特别是如果在合适的视觉领域加上权重分担。它还有一些总体上的优点总之是一个很有吸引力的组合。但是,这种组合并没有“神经”的感觉,尤其是需要大量的数据标签。

事实上,无监督学习一直被认为是圣杯。这大概是大脑擅长什么,和真正需要什么来建立真的“大脑启发式电脑”。但是在如何区分真正的进步和炒作上还存有困难。根据乔丹的理解,至少在视觉方面,非监督学习的想法并没有对最近的一些结果负责,很多都是机遇大量数据集的监督训练的结果。

接近非监督学习的一种方式是将好的“特征”或者“表示”的各种正式特点写下来,并且将他们与现实世界相关的各种假设捆绑在一起。这在神经网络文学上已经做了很久,在深度学习工作背景下的也做出了更多的工作。但是乔丹认为,要走的路是将那些正式的特征放进放进优化函数或者贝叶斯先验,并且制定程序来明确优化整合它们。这将是很困难的,这是一个持续的优化的问题。在一些近期的深度学习工作中,有一个不同的策略——使用自己喜欢的神经网络结构来分析一些数据,并且说“看,这表达了那些想要的、并没有包括进去的性质”。这是旧式的神经网络推理,它被认为仅仅是“神经”,仅仅包含了某种特殊的调料。这个逻辑是完全没有用的。

最后,乔丹教授谈到了哲学的层面,他认为神经网络是工具箱中重要工具之一。但当他被业界咨询的时候,却很少提到那种工具。工业界里人往往期望解决一系列的问题,通常不涉及上文所说的神经网络的“模式识别”的问题。比如说如下这些问题:

(1) 该怎样建立一段时间内的预算的模型,能够让我得到想要精确程度的结果,并且不管我有多少数据?

(2) 怎样才能获得我的数据库所有查询的表现的有意义的错误信息或者其他衡量方法的信息?

(3) 怎样才能与数据库思维(如连接)合并统计思维,以使我能够有效地清除数据和合并异构数据源?

(4) 该如何可视化数据,一般我该如何减少我地数据并且将我的推论展示给别人,让他们理解这是怎么回事?

(5) 该如何做诊断,这样我就不会推出一个有缺陷地系统,或者找出一个现有地系统被损坏了?

(6) 该如何处理非平稳性?

(7) 该如何做一些有针对性地实验,其中合并了我巨大地现有数据集,以使我能够断言一些变量有一些因果关系?

虽然可以通过深度学习地方法来探讨这些问题,但一般学者都会在它们简单的建筑区块上找到更加通透的方法来解决它们。

最后,乔丹教授作出了总结,统计或者机器学习需要更加深入的与计算机科学系统和数据库接触,并不仅仅与具有人工智能的人。这一直是过去的几十年里正在进行的,并且直到现在仍然保持着“机器学习”的热点。乔丹教授从 2006 年到 2011 年在伯克利分校“RAD 实验室”,直到现在在“AMP 实验室”,在这段时间里一直都做着这样的事情。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2014-09-24 07:225825
用户头像

发布了 268 篇内容, 共 117.6 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

低代码与数字化工具:重塑软件开发的新范式

快乐非自愿限量之名

软件开发 低代码 数字化

DAPP系统开发技术原理丨DAPP现成源码

西安链酷科技

dapp开发 链游开发dapp开发

JAVA 服务可观测性最佳实践

观测云

Java

合约跟单系统开发方案设计丨合约跟单源码(案例)

西安链酷科技

合约跟单

量化交易系统开发技术案例丨量化交易开发源码平台

西安链酷科技

量化交易 量化合约

挖矿系统开发详情案例丨挖矿APP源码开发

西安链酷科技

云算力挖矿源码 挖矿系统开发

ETL的数据脱敏方式

RestCloud

信息安全 ETL 数据脱敏

低代码与数据分析:重塑软件开发与数据分析的未来

不在线第一只蜗牛

数据挖掘 数据分析 低代码

钱包系统开发案例丨区块链钱包源码系统开发详情

西安链酷科技

钱包开发

数字货币合约跟单系统开发方案丨合约跟单系统开发功能

西安链酷科技

加密货币钱包 数字货币交易所

量化交易系统开发案例(详情)丨量化交易源码模式

西安链酷科技

量化交易

桌面云整体解决方案

青椒云云电脑

云桌面 云桌面厂家

defi流动性挖矿系统开发基本流程丨defi流动性挖矿源码程序

西安链酷科技

DeFi质押挖矿 DeFi流动性挖矿

云电脑一体机是什么?

青椒云云电脑

云电脑 云电脑平台

量化交易系统开发案例(详情)丨量化交易源码模式

西安链酷科技

量化交易

云桌面为何是影视特效制作行业首选?

青椒云云电脑

云桌面 云桌面解决方案

多币种钱包系统开发(案例)丨多币种钱包开发源码

西安链酷科技

公链钱包 公链钱包开发

云桌面有哪些核心技术?

青椒云云电脑

云桌面 云桌面厂家 云桌面解决方案

区块链钱包系统开发(详情)丨钱包系统开发案例丨区块链钱包开发源码

西安链酷科技

区块链开发落地

合约跟单系统开发详解丨合约跟单APP系统开发案例

西安链酷科技

合约跟单 合约量化 合约交易所

量化交易系统开发案例(详情)丨量化交易源码模式

西安链酷科技

量化交易

云桌面直接当电脑用?云桌面到底是何方神圣

青椒云云电脑

云桌面 云桌面解决方案

持币生息钱包系统开发(详解)丨区块链钱包系统开发流程

西安链酷科技

合约交易系统开发案例分析丨合约交易开发源码平台

西安链酷科技

合约开发

Defi流动性挖矿系统开发程序(案例)丨defi流动性挖矿源码搭建

西安链酷科技

DeFi质押挖矿

IP被黑客知道,有哪些安全隐患

德迅云安全杨德俊

鸿蒙公开课走进东南大学

Geek_2d6073

BTCs中本聪系统开发详解丨BTCs中本聪开发源码

西安链酷科技

DAPP系统开发

量化交易系统开发(案例详情)丨量化交易源码平台

西安链酷科技

量化交易系统 量化合约

合约交易系统开发案例分析丨合约交易开发源码平台

西安链酷科技

合约跟单 合约量化

ArcNeural V2.1 版本正式发布,重要特性全面解析!

Fabarta

ArcNeural AI 数据基础设施 Data-Centric AI

对话机器学习大神Michael Jordan:深度模型_语言 & 开发_张天雷_InfoQ精选文章