【AICon】AI 基础设施、LLM运维、大模型训练与推理,一场会议,全方位涵盖! >>> 了解详情
写点什么

DeepMind 的 AI 能指导人类的直觉吗?

  • 2022-03-18
  • 本文字数:3582 字

    阅读完需:约 12 分钟

DeepMind的AI能指导人类的直觉吗?

DeepMind 研究人员最近发表了一篇题为《通过用人工智能引导人类直觉来推进数学》(Advancing mathematics by guiding human intuition with AI)的论文,认为深度学习能够帮助发现被人类科学家忽视的数学关系。很快,这篇论文在科技媒体上引起了广泛的关注。

 

一些数学家和计算机科学家对 DeepMind 的工作及其论文中所取得的成果表示赞赏,称其具有突破性。其他人则对此持怀疑态度,认为这篇论文和它在大众媒体上的报导,可能夸大了深度学习在数学中的应用。

一种基于机器学习的数学发现框架

 

DeepMind 的科学家在他们的论文中提出,人工智能可以用来“协助在数学研究中发现最前沿的定理和猜想”。他们提出了一种“通过机器学习的强大模式识别和解释方法来增强标准数学家的工具包”的框架。


在数学发现中使用机器学习的框架(由 DeepMind 提供)


数学家们首先对两个数学对象之间的关系做出假设。为了验证这一假设,他们使用计算机程序为这两种类型的对象生成数据。接下来,一种监督式机器学习模型算法对这些数字进行计算,并尝试调整其参数,将一种类型的对象映射到另一种类型的对象。

 

研究人员写道:“在这个回归过程中,机器学习最重要的贡献在于,只要有足够的数据,就可以学习到一系列可能的非线性函数。”

 

如果训练过的模型比随机猜测的表现更好,那么它可能表明这两个数学对象之间确实存在着可发现的关系。通过使用不同的机器学习技术,研究人员能够发现与问题更相关的数据点,改进他们的假设,生成新的数据,并训练新的模型。通过重复这些步骤,他们可以缩小合理猜想的范围,并加速得到最终解决方案。

 

DeepMind 的科学家将该框架描述为“直觉的试验台”,它可以快速验证“关于两个量之间关系的直觉是否值得追求”,并为它们可能存在的关系提供指引。

 

利用这个框架,DeepMind 的研究人员通过使用深度学习得出了“两项基本的新发现,一项是拓扑学,另一项是表示论。”

 

这项工作的一个有趣之处在于,无需庞大的算力,而算力已经成为 DeepMind 研究的支柱。根据该论文,在这两项发现中使用的深度学习模型可以在“一台只有一个图形处理单元的机器上”在几个小时内进行训练。

纽结与表示



纽结是空间中的一条闭合曲线,可以用各种方式定义。随着其交叉点数量的增加,它们将会变得更复杂。研究人员想看看他们是否可以利用机器学习来发现代数不变量和双曲不变量之间的映射,这是定义纽结的两种根本不同的方式。

 

研究人员写道:“我们假设,在一个纽结的双曲不变量和代数不变量之间存在一种未被发现的关系。”

 

使用 SnapPy 软件包,研究人员可以生成“签名”、1 个代数不变量和 12 个有希望的双曲不变量,可用于 170 万个纽结,最多有 16 个交叉点。

 

接下来,他们创建了一个全连接的前馈神经网络,这个网络具有三个隐藏层,每个隐藏层有 300 个单元。他们训练深度学习模型,将双曲不变量的值映射到签名上。他们的初始模型能够以 78% 的准确率预测签名。通过进一步的分析研究,他们在双曲不变量中发现了一个较小的参数集,可以预测签名。研究人员完善了他们的猜想,生成了新的数据,重新训练了他们的模型,并得出了一个最终的定理。

 

研究人员将该定理描述为“连接纽结的代数和几何不变量的首批结果之一,它有着很多有趣的应用。”

 

“我们预计,在低维拓扑学中,这种新发现的自然斜率和签名之间的关系将会有许多其他应用。”研究人员写道:“如此简单而又深刻的关系,在这个早已被广泛研究的领域里却被忽视了,真是太不可思议了。”



论文的第二个结果也是对称性的两种不同观点的映射,它的复杂性远远超过了纽结。

 

在本例中,他们使用了一种图神经网络(graph neural network,GNN),以求 Bruhat 区间图和 Kazhdan-Lusztig(KL)多项式之间的关系。图神经网络的一个好处就是能够对庞大的、单凭头脑难以处理的图进行计算和学习。深度学习将区间图作为输入,尝试预测相应的 KL 多项式。

 

同样,通过生成数据,训练深度学习模型,并重新调整过程,科学家们能够得出一个可证明的猜想。

大众对 DeepMind 数学人工智能的反应

 

谈到 DeepMind 在纽结理论方面的发现,内布拉斯加大学林肯分校的纽结理论家 Mark Brittenham,在接受《自然》(Nature)采访时说:“作者用一种很直接的方法,证实了不变量是相关的,这一事实告诉我们,在这一领域中,存在着许多我们尚未充分了解的、非常基本的事物。”Brittenham 还说,DeepMind 的这项技术在发现惊人的联系上,比起其他将机器学习应用于纽结的努力,它是很新颖的。

 

以色列特拉维夫大学的数学家 Adam Zsolt Wagner 也接受了《自然》杂志的采访,他说,DeepMind 提出的方法可以证明对某些类型的问题有价值。

 

Wagner 有将机器学习应用于数学的经验,他称:“如果没有这种工具,数学家可能就会花上好几个星期甚至几个月去证明某个公式或者定理,而这些公式和定理最后都会被证明是错误的。”但他也补充说,目前还不清楚它的影响会有多广泛。

持怀疑态度的理由

 

继 DeepMind 的研究成果在《自然》杂志上发表后,纽约大学计算机科学教授 Ernest Davis 发表了一篇自己的论文,就 DeepMind 关于结果的框架以及深度学习在普通数学中的应用的局限性提出了一些重要问题。

 

关于 DeepMind 的论文中提出的第一个结果,Davis 观察到,纽结理论并不是深度学习优于其他机器学习或统计方法的典型问题。

 

Davis 写道:“深度学习的优势在于像视觉或者文本这样的情景,对于每一个实例(图像或文本)来说,都有许多低级输入特征,难以对高级特征进行可靠的识别,并且对于任何人来说,把输入特征和答案关联的函数都十分复杂,并且输入特征中没有一个小子集是完全决定性的。”

 

纽结问题只有 12 个输入特征,其中只有三个是相关的。而输入特征和目标变量之间的数学关系很简单。


Davis 写道:“很难理解为什么有 20 万个参数的神经网络会成为首选的方法;简单、传统的统计方法或支持向量机更适合。”


在第二个项目中,深度学习的作用更为重要。“与使用通用深度学习架构的纽结理论项目不同,神经网络被精心设计,以满足对这个问题更深层次的数学知识。此外,深度学习在预处理数据上比在原始数据上工作得更好,错误率大约是 1/40。”他写道。


Davis 称,一方面,这些研究结果与那些批评的观点形成了鲜明的对比,即把领域知识纳入深度学习中是非常困难的。他写道:“另一方面,深度学习的爱好者经常称赞深度学习是一种‘即插即用’的学习方法,它可以用原始数据来解决手头的任何问题;这与这种赞誉相悖。”


在这些任务中,要成功应用深度学习,可能在很大程度上依赖于训练数据的生成方式和数学结构的编码方式。这说明该框架可能适用于一小类数学问题。

 

“寻找生成和编码数据的最佳方式涉及理论、经验、艺术和实验的混合。这一切的重担都落在了人类专家身上,”他写道。“深度学习可以是一种强大的工具,但也不是万能的。”

 

Davis 提醒道,在当前关于深度学习的炒作氛围中,“存在着一种异常的动机,让人们关注深度学习在这项研究中的作用,而不只是 DeepMind 的机器学习专家,甚至是数学家。”

 

Davis 总结说,就像在这篇文章中所提到的,深度学习最好被视为“实验数学工具箱中的另一种分析工具,而非一种全新的数学方法。”

 

值得注意的是,原始论文的作者也指出了他们的框架的一些局限性,例如“它需要生成对象表示的大型数据集的能力,并且模式在可计算的示例中是可检测的。此外,在某些领域,在这个范式中可能很难学习到感兴趣的函数。” 

深度学习与直觉

 

其中一个争议主题是,该论文宣称,深度学习是“引导直觉”。Davis 形容这一说法是“非常不准确的描述,即对数学家在使用这样的深度学习时,得到了或者期望得到什么帮助。”

 

直觉是人类和人工智能的重要区别之一。这是一种比随机猜测更好的决策能力,并且在大部分时间里,它可以引导你走上正确的方向。正如迄今为止人工智能的历史所显示的那样,在海量数据中,并没有预定义的规则和模式能够捕捉到直觉。

 

“在数学的世界中,‘直觉’一词意味着,一个概念或证明可以建立在人们对熟悉的领域(如数字、空间、时间或运动)根深蒂固的感觉上,或者以某种其他方式‘有意义’或‘似乎正确’,而不需要明确的计算或逐步推理。”Davis 写道。

 

Davis 认为,为了获得对数学概念的直观掌握,往往需要通过多个具体的例子来进行,但这并非统计学上的相关工作。换句话说,你不会通过运行数百万个例子和观察某些模式重复出现的百分比来获得直觉。

 

这意味着,并不是深度学习模型让科学家直观地理解他们所定义的概念、所证明的定理以及所提出的猜想。

 

Davis 写道:“深度学习所做的,是给他们提供一些建议,告诉他们问题的哪些特征看起来重要,哪些看起来不重要。这并不值得嗤之以鼻,但也不应该被夸大。”

 

作者介绍:

 

Ben Dickson,软件工程师,也是 TechTalks 的创始人。撰写有关技术、商业和政治的文章。

 

原文链接:

 

https://bdtechtalks.com/2021/12/13/deepminds-machine-learning-mathematics/

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2022-03-18 15:392275

评论

发布
暂无评论
发现更多内容

【开源三方库】Aki:一行代码极简体验JS&C++跨语言交互

OpenHarmony开发者

OpenHarmony

汽车之家APP端到端全链路治理最佳技术实践

之家技术

质量 质量赋能 端到端 质量监控 质量指标

【我和openGauss的故事】可视化运维平台openGauss Datakit带你轻松玩转openGauss 5.0

daydayup

openGauss数据库源码解析系列文章—安全管理源码解析(五)

daydayup

如何在短视频中合成“虚拟数字人”?

阿里云视频云

云计算 剪辑 视频云 数字人

openGauss数据库源码解析系列文章—安全管理源码解析(五)

daydayup

如何用IoT边缘连接器实现云端应用控制PLC?

华为云开发者联盟

云计算 后端 华为云 华为云开发者联盟 企业号 8 月 PK 榜

详细的Java学习路线+Java每个阶段核心知识点+Java工作就业方向

java易二三

Java 编程 程序员 计算机 基础

学生管理系统架构设计文档

艾瑾行

【我和openGauss的故事】 openGauss 5.0.0 事务相关语法

daydayup

【我和openGauss的故事】使用Ora2Pg迁移oracle数据到openGauss

daydayup

【我和openGauss的故事】为集群增加VIP

daydayup

大语言模型推理性能优化之七策

Baihai IDP

人工智能 大模型 白海科技 推理优化 大模型推理

Studio One 6 for mac(音乐制作工具) v6.2.0中文特别版

mac

Studio One 音乐制作软件 苹果mac

基于YonGPT 的智能大搜,让知识赋能业务和组织!

用友BIP

企业服务大模型 YonGPT

倒计时2天 | 第六届openGauss技术文章征集活动最新初审合格名单(截至8.3)

daydayup

【我和openGauss的故事】带有out参数的存储过程及自定义函数的重载测试

daydayup

小模型赋能大电网,手机拍照来建档

飞桨PaddlePaddle

人工智能 百度 paddle 飞桨 百度飞桨

DDD项目落地之充血模型实践 | 京东云技术团队

京东科技开发者

DDD 充血模型 聚合根 企业号 8 月 PK 榜

MaxCompute发布按量付费闲时版,计算成本最高节省66.66%!

阿里云大数据AI技术

MaxCompute

Spring Boot 最佳实践

越长大越悲伤

Java spring Spring Boot

MTK 2.9.2 迁移Oracle 11g 至 openGauss 5.0.0操作指南

daydayup

仪表板修改优化实操案例

搞大屏的小北

数据看板 大屏布局 大屏设计 大屏设计优化 数据看板优化

5个高并发场景优化的衡量指标

华为云开发者联盟

开发 华为云 华为云开发者联盟 企业号 8 月 PK 榜

加速未来!汽车之家App应用性能优化总结与后续展望

之家技术

前端 性能 App 质量 质量赋能

汽车之家页面性能监控建设实践

之家技术

质量 质量赋能 质量监控 质量指标 质量检测

JDV背后的技术-助力618 | 京东云技术团队

京东科技开发者

数据化 可视化软件 可视化展示 企业号 8 月 PK 榜

汽车之家铸精品工程

之家技术

质量 质量赋能 质量监控 质量指标

【我和openGauss的故事】openGauss 5.0.0企业版x86单机安装

daydayup

山东布谷科技详解Android端直播应用源码保持优质直播质量的技术(三):可变比特率

山东布谷科技

android 软件开发 源码搭建 直播应用源码 可变比特率

Spring高手之路11——BeanDefinition解密:构建和管理Spring Beans的基石

砖业洋__

spring BeanDefinition Bean配置

DeepMind的AI能指导人类的直觉吗?_AI&大模型_Ben Dickson_InfoQ精选文章