AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

对话机器学习大神 Michael Jordan:解析领域中各类模型

  • 2014-10-09
  • 本文字数:1951 字

    阅读完需:约 6 分钟

乔丹教授(Michael I. Jordan)教授是机器学习领域神经网络的大牛,他对深度学习、神经网络有着很浓厚的兴趣。因此,很多提问的问题中包含了机器学习领域的各类模型,乔丹教授对此一一做了解释和展望。

首先被提到的就是经典的贝叶斯非参数模型。今年暑假,乔丹教授在 Como 开设了贝叶斯非参数模型的课程。这个课程里面,他花了很大一部分时间用来介绍完全随机测度的主题和把它们运用在模型中的好处。有一些提问者参与了这个课程,并且提出了一些问题。总结来说就是三个问题:

  1. 是否有一些其他的或者特殊的抽象数学概念和方法,能够让我们用来从中收益并且整合进机器学习领域?其中一个跨学科例子就是 Hybrid MCMC,原型基于动态系统理论。
  2. 如今大部分贝叶斯非参数都被应用在了聚类/混合模型、主题模型和图模型。非参数应用的下一个前沿方向将在哪里?
  3. 目前机器学习领域的处理问题的方式非常一般,仅仅是套用很多普遍的模型然后进行大量的计算。这个趋势会继续流行下去吗?是否有希望出现一些不需要那么多数据的方法,比如核心集、Matrix Sketching、随机映射或者主动学习?

乔丹教授非常关心这类问题,特别是第一问。实际上他花了职业生涯的大部分时间尝试将各种数学领域已有的想法应用到新的情景中去,并且乔丹的努力很有成效。但是,他所得到的失败远远大于成功。所以乔丹教授很犹豫是否在这里给出一些很具体的建议,因为这很有可能变成傻子的金子而不是真正的建议。

乔丹教授认为完全随机测度(CRMs)仍然是将来的热点。它们大部分被用在了获得归一化的随机测度(见 James, Lijoi and Pruenster 的工作),比如随机概率测度。

把思想从归一化常量中解放出来也值得考虑,CRMs 就是做的这件事。同时,注意到副词“完全”指的是有用的独立属性,暗指那些还未被发明出来的、分而治之的算法。

通常,CRMs 对于非参数就好比指数族对于参数模型的意义,并且乔丹教授现在正在和 Tamara Broderick 与 Ashia Wilson 合作一篇文章,尝试将这个想法带给大家。注意到指数族在几十年前 Larry Brown 的开创性专著发型之后已经无人使用了,但是它们仍然还有很多后续发展,比如乔丹和 Martin Wainwright 的著作,研究了指数族的共轭对耦。

至于非参数应用的下一代前沿方向,乔丹认为这将主要从实际生活中获得实际应用的灵感。在实际生活中,很少一部分人在大规模数据上尝试过贝叶斯非参数模型。一旦实际上开始使用并且取得了一定的成功,这块领域将能够很快发展。

最后,乔丹提到他是核心集、Matrix Sketching、随机映射的忠实粉丝,并且把它们作为基本工具,相信它们仍然会持续发展,因为研究人员已经开始建立更加复杂的、流水线结构。但其实,它们并不是不太需要数据的方法。实际上,它们为整个系统提供了一个可测量的节点让其能够加入更多的数据并且保持准确性。

第二个被提到的是概率图模型。概率图模型(PGMs)是表现联合概率分布结构的一种方式,特别是在条件独立关系和因数分解方面。通过这种方式能够很有效的抓住一些结构的方面,但是仍然有很多其他的联合概率分布的结构是 PGM 不能够派上用场的。没有一个工具在所有领域中都是有用的,每一个工具都有它自己的适用范围。

在另外一个方面,尽管我们有着限制,但在 PGM 方面仍然有着很多需要探索。注意到大部分广泛适用的图模型都是链状的,比如 HMM 模型,CRF 也是。在链之外还有树状的,也有很多工作可以继续。

乔丹教授提到,在 2003 年他介绍 LDA 模型的时候,仍然能够记得 UAI 社区的已经在树领域做了很多年工作的研究员说道:“这个模型只是一个树,这怎么值得去研究的?”但是他仍然被以树为基础的结构的研究的进展所激励着,特别是在三个大领域:有机进化生物领域、文档建模还有自然语言处理。比如乔丹最近和 Alex Bouchard-Cote 一起研究进化树,其节点都是变长的字符串,并且沿着树的边扩展,需要人来推出这棵树和字符串。在主题模型领域,他对于多分辨率的主题树非常感兴趣,这是一个非常有前途的方法,超过了 LDA。John Paisley,Chong Wang,Dave Blei 和乔丹已经推出了一种网状 HDP 结构,在这个结构中,文档不再是一个向量而是一个向量的多路下降树。最近,Percy Liang,Dan Klein 和乔丹正在主攻自然语言语义的一个研究方向,其中基础的模型是一棵树,但是节点可能是已经被赋值了,这样经典约束满足可能解决一些语义的一阶方面的问题。

最后值得详细说明的一件事,没有理由不能让图模型里面的节点来代表随机集,或随机组合结构,或者一般随机过程。在随机向量的经典设置里面,因子分解可能是很有用的。乔丹说道,在这方面还有很多可以值得探索。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-10-09 03:324826
用户头像

发布了 268 篇内容, 共 131.4 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

模块-1 微信业务架构图 和 备选方案

小遵

Fil矿机怎么购买?Fil矿机哪里买?

fil矿机怎么购买 fil矿机 ipfs矿机

架构实战营第二周作业——微信朋友圈高性能复杂度

发酵的死神

架构实战营

分布式事务最经典的七种解决方案

叶东富

数据库 分布式事务 微服务 TCC Go 语言

🐧【Linux技术专题系列】「必备基础知识」一起探索(su、sudo等相关身份提权/身份切换机制)

码界西柚

Linux linux 文件权限控制 7月日更 Linux身份提权

一文搞懂二分查找面试

泽睿

算法 二分查找

模块 2. 架构设计

Geek_ywh40v

深入了解Spring之MessageSource

邱学喆

MessageFormat MessageSource MessageSourceAware

golang解析---进程,线程,协程

en

线程 进程 协程 Go 语言 goroutine

北鲲云计算,用技术成就生物科学领域发展

北鲲云

Python OpenCV 对象检测,图像处理取经之旅第 37 篇

梦想橡皮擦

7月日更

Discourse 调整使用不同的表情符号

HoneyMoose

2021年网络安全市场全景图,看看都有哪些企业吧!

郑州埃文科技

Spark :: 源代码(前传)—Spark多线程 :: NettyRpcEnv.ask解读

dclar

spark 多线程 Spark调优 源代码

微服务架构服务容错设计分析

慕枫技术笔记

架构 微服务 后端

八位阿里大牛耗时三年总结出Java面试复盘手册!带你实现逆风翻盘

白亦杨

Java 编程 程序员

模块一作业

A先生

两个月面试5家,(美团、360、新浪网、完美世界、搜狐)已拿美团18k*16薪offer

Java 编程 程序员 架构 面试

华为18级工程师耗时三年才总结出这份Java亿级高并发核心编程手册

Java 编程 程序员

模块2作业

Tina

架构实战营模块二作业

王晓宇

模块-6 拆分电商系统为微服务

小遵

项目管理实践篇(一):技术人如何做好风险把控

后台技术汇

项目管理

架构实战营 模块二 作业

一雄

作业 架构实战营 模块二

【Flutter 专题】84 图解自定义 ACEWave 波浪 Widget (二)

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 7月日更

金九银十马上要来了,我熬夜整理10 万字节详细面试笔记(带完整目录) 良心分享

Java 编程 程序员 架构 面试

Liunx之chown命令

入门小站

Linux

vivo S系列的爆款密码:自拍,自然,自出机杼

脑极体

智能运维(AIOps)系列之四:智能运维落地的思路

micklongen

AIOPS 智能运维

福布斯解读区块链行业如何改变全球人才供给

CECBC

模块二作业

A先生

对话机器学习大神Michael Jordan:解析领域中各类模型_语言 & 开发_张天雷_InfoQ精选文章