GMTC全球大前端技术大会(北京站)门票9折特惠截至本周五,点击立减¥480 了解详情
写点什么

对话机器学习大神 Michael Jordan:解析领域中各类模型

2014 年 10 月 09 日

乔丹教授(Michael I. Jordan)教授是机器学习领域神经网络的大牛,他对深度学习、神经网络有着很浓厚的兴趣。因此,很多提问的问题中包含了机器学习领域的各类模型,乔丹教授对此一一做了解释和展望。

首先被提到的就是经典的贝叶斯非参数模型。今年暑假,乔丹教授在 Como 开设了贝叶斯非参数模型的课程。这个课程里面,他花了很大一部分时间用来介绍完全随机测度的主题和把它们运用在模型中的好处。有一些提问者参与了这个课程,并且提出了一些问题。总结来说就是三个问题:

  1. 是否有一些其他的或者特殊的抽象数学概念和方法,能够让我们用来从中收益并且整合进机器学习领域?其中一个跨学科例子就是 Hybrid MCMC,原型基于动态系统理论。
  2. 如今大部分贝叶斯非参数都被应用在了聚类/混合模型、主题模型和图模型。非参数应用的下一个前沿方向将在哪里?
  3. 目前机器学习领域的处理问题的方式非常一般,仅仅是套用很多普遍的模型然后进行大量的计算。这个趋势会继续流行下去吗?是否有希望出现一些不需要那么多数据的方法,比如核心集、Matrix Sketching、随机映射或者主动学习?

乔丹教授非常关心这类问题,特别是第一问。实际上他花了职业生涯的大部分时间尝试将各种数学领域已有的想法应用到新的情景中去,并且乔丹的努力很有成效。但是,他所得到的失败远远大于成功。所以乔丹教授很犹豫是否在这里给出一些很具体的建议,因为这很有可能变成傻子的金子而不是真正的建议。

乔丹教授认为完全随机测度(CRMs)仍然是将来的热点。它们大部分被用在了获得归一化的随机测度(见 James, Lijoi and Pruenster 的工作),比如随机概率测度。

把思想从归一化常量中解放出来也值得考虑,CRMs 就是做的这件事。同时,注意到副词“完全”指的是有用的独立属性,暗指那些还未被发明出来的、分而治之的算法。

通常,CRMs 对于非参数就好比指数族对于参数模型的意义,并且乔丹教授现在正在和 Tamara Broderick 与 Ashia Wilson 合作一篇文章,尝试将这个想法带给大家。注意到指数族在几十年前 Larry Brown 的开创性专著发型之后已经无人使用了,但是它们仍然还有很多后续发展,比如乔丹和 Martin Wainwright 的著作,研究了指数族的共轭对耦。

至于非参数应用的下一代前沿方向,乔丹认为这将主要从实际生活中获得实际应用的灵感。在实际生活中,很少一部分人在大规模数据上尝试过贝叶斯非参数模型。一旦实际上开始使用并且取得了一定的成功,这块领域将能够很快发展。

最后,乔丹提到他是核心集、Matrix Sketching、随机映射的忠实粉丝,并且把它们作为基本工具,相信它们仍然会持续发展,因为研究人员已经开始建立更加复杂的、流水线结构。但其实,它们并不是不太需要数据的方法。实际上,它们为整个系统提供了一个可测量的节点让其能够加入更多的数据并且保持准确性。

第二个被提到的是概率图模型。概率图模型(PGMs)是表现联合概率分布结构的一种方式,特别是在条件独立关系和因数分解方面。通过这种方式能够很有效的抓住一些结构的方面,但是仍然有很多其他的联合概率分布的结构是 PGM 不能够派上用场的。没有一个工具在所有领域中都是有用的,每一个工具都有它自己的适用范围。

在另外一个方面,尽管我们有着限制,但在 PGM 方面仍然有着很多需要探索。注意到大部分广泛适用的图模型都是链状的,比如 HMM 模型,CRF 也是。在链之外还有树状的,也有很多工作可以继续。

乔丹教授提到,在 2003 年他介绍 LDA 模型的时候,仍然能够记得 UAI 社区的已经在树领域做了很多年工作的研究员说道:“这个模型只是一个树,这怎么值得去研究的?”但是他仍然被以树为基础的结构的研究的进展所激励着,特别是在三个大领域:有机进化生物领域、文档建模还有自然语言处理。比如乔丹最近和 Alex Bouchard-Cote 一起研究进化树,其节点都是变长的字符串,并且沿着树的边扩展,需要人来推出这棵树和字符串。在主题模型领域,他对于多分辨率的主题树非常感兴趣,这是一个非常有前途的方法,超过了 LDA。John Paisley,Chong Wang,Dave Blei 和乔丹已经推出了一种网状 HDP 结构,在这个结构中,文档不再是一个向量而是一个向量的多路下降树。最近,Percy Liang,Dan Klein 和乔丹正在主攻自然语言语义的一个研究方向,其中基础的模型是一棵树,但是节点可能是已经被赋值了,这样经典约束满足可能解决一些语义的一阶方面的问题。

最后值得详细说明的一件事,没有理由不能让图模型里面的节点来代表随机集,或随机组合结构,或者一般随机过程。在随机向量的经典设置里面,因子分解可能是很有用的。乔丹说道,在这方面还有很多可以值得探索。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014 年 10 月 09 日 03:323835
用户头像

发布了 268 篇内容, 共 102.4 次阅读, 收获喜欢 18 次。

关注

评论

发布
暂无评论
发现更多内容

记一次Jvm参数调优实战

AI乔治

Java 架构 JVM 编程思维 jvm调优

甲方日常 39

句子

工作 随笔杂谈 日常

区块链助力跨省、零材料办理 成都武侯打造“中国政务服务第一链”

CECBC区块链专委会

区块链

自我管理系列-为啥要做生产问题分析报告呀

罗小龙

复盘 IT, 经验总结 职场搞笑 生产事故

同学信誓旦旦地说,我司的系统从来不做性能调优!

沉默王二

Java 性能调优

谷歌朝南,华为朝北

脑极体

新基建下区块链基础设施建设

CECBC区块链专委会

区块链

陈山枝:5G+车联网 推动中国特色车路协同发展

Geek_459987

如何在微信公众号图文中插入外链

Ceelog

微信公众号

JVM系列-第一节:JVM简介、运行时数据区、内存分代模型

诸葛小猿

Java JVM JVM简介 运行时数据区 内存分代模型

Dubbo 微服务调用时序图

Acker飏

LeetCode题解:47. 全排列 II,回溯,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

初识Kafka及安装

犟马骝

一次艰难的内存泄露排查,BeanUtils的锅

AI乔治

Java 架构

"全能"人才的概念真的对吗

supernova

创业 读书笔记 随笔杂谈

英特尔老矣,尚能“转”否?

脑极体

系统从初期到支撑亿级流量,都经历了哪些架构的变迁?

冰河

分布式 微服务 系统架构 SOA 垂直架构

中国银行前行长李礼辉:区块链技术优势与产业前景

CECBC区块链专委会

区块链 数字货币

数字货币交易所开发源码,场外OTC交易平台搭建

WX13823153201

它可能是分布式系统中最重要的枢纽

架构师修行之路

分布式 微服务 注册

vim快捷键收藏版

良知犹存

vim

杰哥获奖了!

JackTian

Linux 程序人生 运维工程师 运维人生

信息量爆炸!78天闭门深造1258页SpringCloud学习进阶笔记,再战蚂蚁金服

996小迁

Java 架构 面试 SpringCloud

今天你的idea崩了吗?分享6种“白嫖”正版idea的途径,真香定律

小Q

学习 架构 面试 开发 IntelliJ IDEA

算法学习1-- 数组常见问题

菜鸟小sailor 🐕

算法和数据结构

分布式系统使用网关到底是好还是坏?

架构师修行之路

分布式 微服务 网关

为你总结了N个真实线上故障,从容应对面试官!

AI乔治

Java 架构 GC

京东智联云4篇论文入选国际语音顶级大会Interspeech 2020

京东科技开发者

人工智能 大数据 语音识别

视频客服的应用和优点

anyRTC开发者

音视频 WebRTC 直播 RTC

32个问题,学习Java虚拟机的运行时数据区

AI乔治

Java 架构 JVM JVM虚拟机原理

阿里技术专家撰写程序员“不迷茫”职业路指南,切中痛点规划未来

周老师

Java 编程 程序员 架构 面试

对话机器学习大神Michael Jordan:解析领域中各类模型-InfoQ