发布在即!企业 AIGC 应用程度测评,3 步定制专属评估报告。抢首批测评权益>>> 了解详情
写点什么

对话机器学习大神 Michael Jordan:解析领域中各类模型

  • 2014-10-09
  • 本文字数:1951 字

    阅读完需:约 6 分钟

乔丹教授(Michael I. Jordan)教授是机器学习领域神经网络的大牛,他对深度学习、神经网络有着很浓厚的兴趣。因此,很多提问的问题中包含了机器学习领域的各类模型,乔丹教授对此一一做了解释和展望。

首先被提到的就是经典的贝叶斯非参数模型。今年暑假,乔丹教授在 Como 开设了贝叶斯非参数模型的课程。这个课程里面,他花了很大一部分时间用来介绍完全随机测度的主题和把它们运用在模型中的好处。有一些提问者参与了这个课程,并且提出了一些问题。总结来说就是三个问题:

  1. 是否有一些其他的或者特殊的抽象数学概念和方法,能够让我们用来从中收益并且整合进机器学习领域?其中一个跨学科例子就是 Hybrid MCMC,原型基于动态系统理论。
  2. 如今大部分贝叶斯非参数都被应用在了聚类/混合模型、主题模型和图模型。非参数应用的下一个前沿方向将在哪里?
  3. 目前机器学习领域的处理问题的方式非常一般,仅仅是套用很多普遍的模型然后进行大量的计算。这个趋势会继续流行下去吗?是否有希望出现一些不需要那么多数据的方法,比如核心集、Matrix Sketching、随机映射或者主动学习?

乔丹教授非常关心这类问题,特别是第一问。实际上他花了职业生涯的大部分时间尝试将各种数学领域已有的想法应用到新的情景中去,并且乔丹的努力很有成效。但是,他所得到的失败远远大于成功。所以乔丹教授很犹豫是否在这里给出一些很具体的建议,因为这很有可能变成傻子的金子而不是真正的建议。

乔丹教授认为完全随机测度(CRMs)仍然是将来的热点。它们大部分被用在了获得归一化的随机测度(见 James, Lijoi and Pruenster 的工作),比如随机概率测度。

把思想从归一化常量中解放出来也值得考虑,CRMs 就是做的这件事。同时,注意到副词“完全”指的是有用的独立属性,暗指那些还未被发明出来的、分而治之的算法。

通常,CRMs 对于非参数就好比指数族对于参数模型的意义,并且乔丹教授现在正在和 Tamara Broderick 与 Ashia Wilson 合作一篇文章,尝试将这个想法带给大家。注意到指数族在几十年前 Larry Brown 的开创性专著发型之后已经无人使用了,但是它们仍然还有很多后续发展,比如乔丹和 Martin Wainwright 的著作,研究了指数族的共轭对耦。

至于非参数应用的下一代前沿方向,乔丹认为这将主要从实际生活中获得实际应用的灵感。在实际生活中,很少一部分人在大规模数据上尝试过贝叶斯非参数模型。一旦实际上开始使用并且取得了一定的成功,这块领域将能够很快发展。

最后,乔丹提到他是核心集、Matrix Sketching、随机映射的忠实粉丝,并且把它们作为基本工具,相信它们仍然会持续发展,因为研究人员已经开始建立更加复杂的、流水线结构。但其实,它们并不是不太需要数据的方法。实际上,它们为整个系统提供了一个可测量的节点让其能够加入更多的数据并且保持准确性。

第二个被提到的是概率图模型。概率图模型(PGMs)是表现联合概率分布结构的一种方式,特别是在条件独立关系和因数分解方面。通过这种方式能够很有效的抓住一些结构的方面,但是仍然有很多其他的联合概率分布的结构是 PGM 不能够派上用场的。没有一个工具在所有领域中都是有用的,每一个工具都有它自己的适用范围。

在另外一个方面,尽管我们有着限制,但在 PGM 方面仍然有着很多需要探索。注意到大部分广泛适用的图模型都是链状的,比如 HMM 模型,CRF 也是。在链之外还有树状的,也有很多工作可以继续。

乔丹教授提到,在 2003 年他介绍 LDA 模型的时候,仍然能够记得 UAI 社区的已经在树领域做了很多年工作的研究员说道:“这个模型只是一个树,这怎么值得去研究的?”但是他仍然被以树为基础的结构的研究的进展所激励着,特别是在三个大领域:有机进化生物领域、文档建模还有自然语言处理。比如乔丹最近和 Alex Bouchard-Cote 一起研究进化树,其节点都是变长的字符串,并且沿着树的边扩展,需要人来推出这棵树和字符串。在主题模型领域,他对于多分辨率的主题树非常感兴趣,这是一个非常有前途的方法,超过了 LDA。John Paisley,Chong Wang,Dave Blei 和乔丹已经推出了一种网状 HDP 结构,在这个结构中,文档不再是一个向量而是一个向量的多路下降树。最近,Percy Liang,Dan Klein 和乔丹正在主攻自然语言语义的一个研究方向,其中基础的模型是一棵树,但是节点可能是已经被赋值了,这样经典约束满足可能解决一些语义的一阶方面的问题。

最后值得详细说明的一件事,没有理由不能让图模型里面的节点来代表随机集,或随机组合结构,或者一般随机过程。在随机向量的经典设置里面,因子分解可能是很有用的。乔丹说道,在这方面还有很多可以值得探索。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2014-10-09 03:324346
用户头像

发布了 268 篇内容, 共 117.7 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

培训学习大数据开发技术怎么样

小谷哥

Python将二维数组输出为图片

代码的路

Python

尚硅谷Filebeat视频教程发布

小谷哥

稳扎稳打,坚定前行 | 一文带你回顾 StoneDB 的 2022 年

StoneDB

MySQL 数据库 HTAP StoneDB 企业号 1 月 PK 榜

房价危机:疫情后时代席卷全球的新变局|数据报告

前嗅大数据

数据分析 数据采集 爬虫案例 爬虫工具 房价

无需服务器开发,实现设备状态缓存方案——实践类

阿里云AIoT

sql 缓存 运维 物联网 存储

深圳大数据程序员培训多长时间可以找工作

小谷哥

Python中LSTM回归神经网络的时间序列预测

代码的路

Python

极光笔记 | 如何为 iOS 16 创建一个实时活动

极光JIGUANG

ios 开发者 运营 API

RPN:Region Proposal Networks (区域候选网络)

代码的路

图像处理

堆叠降噪自动编码器 Stacked Denoising Auto Encoder(SDAE)

代码的路

图像处理

软件测试/测试开发丨Google 测试总监聊如何经营成功的测试职业生涯

测试人

软件测试 自动化测试 测试开发 职业生涯

目标跟踪相关知识总结

代码的路

图像处理

自编码器 AE(AutoEncoder)程序

代码的路

自编码器

高性能网络SIG月度动态:virtio新设备进入virtio规范、smc新特性IPC性能比tcp提升88% | 龙蜥SIG

OpenAnolis小助手

操作系统 高性能网络 龙蜥社区 sig virtio

PyTorch中 nn.Conv2d与nn.ConvTranspose2d函数的用法

代码的路

Python PyTorch

上海前端培训课程哪家的好

小谷哥

小令观点 | 人脸识别遇到了什么关键性难题?

令牌云数字身份

人脸识别 难题攻克

Python将图片输出为二维数组并保存到txt中

代码的路

Python

PyTorch中 torch.nn与torch.nn.functional的区别

代码的路

Python PyTorch

软件开发入门教程网之Git 分支管理

雪奈椰子

git git pull cannot lock ref git 学习

I see you!「2022 龙蜥社区优秀贡献者」正式启动

OpenAnolis小助手

开源 龙蜥社区 2022 奖项 优秀贡献者

软件测试/测试开发丨从 0 开始学 Python 自动化测试开发(二):环境搭建

测试人

Python 软件测试 自动化测试 测试开发

Integer.valueOf(String) 方法之惑

Steven

创建Root权限虚拟环境

代码的路

Linux

带你来吃瓜!Andy Pavlo教授带您一文回顾数据库的2022年

StoneDB

MySQL 数据库 HTAP StoneDB 企业号 1 月 PK 榜

前端面授培训课程哪里好呢

小谷哥

如何通过Java应用程序添加或删除 PDF 中的附件

在下毛毛雨

PDF Java’ 添加注释

PyTorch的简单实现

代码的路

Python PyTorch

小令观点 | 个人信息泄露——当代数字身份之殇

令牌云数字身份

数字身份 信息泄露 身份

软件开发入门教程网之Git 基本操作

雪奈椰子

git clone git push

对话机器学习大神Michael Jordan:解析领域中各类模型_语言 & 开发_张天雷_InfoQ精选文章