写点什么

“抄我的还‘反捅’我一刀”,Gary Marcus 发文驳斥图灵奖得主 Yann LeCun

  • 2022-09-26
    北京
  • 本文字数:5056 字

    阅读完需:约 17 分钟

“抄我的还‘反捅’我一刀”,Gary Marcus发文驳斥图灵奖得主Yann LeCun

今年 6 月,图灵奖得主、深度学习先驱、Meta 公司首席 AI 科学家 Yann LeCun 发表了一篇长达 62 页的论文,论文阐述了他对过去 5 年 - 10 年关于 AI 发展大方向的思考,并提出了 AI 未来的新愿景。


对于这篇论文的观点,著名 AI 学者、Robust.AI 的创始人兼 CEO 、纽约大学的名誉教授 Gary Marcus 并不认同,并专门写了一篇长文驳斥,以下为全文。


62 岁的深度学习先驱、纽约大学教授、图灵奖获得者兼 Meta 公司首席 AI 科学家 Yann LeCun,又肩负起自己的一项新使命。他的任务,就是从技术缔造者以及思想者的角度,探索如何超越深度学习。


经过一番深思熟虑,他把自己的观点透露给了多家外媒,于是,《Yann LeCun为AI未来大胆勾勒出新愿景》的报道迅速亮相。


今年 6 月初,LeCun 还发布了一份激起热烈讨论的宣言,也对我(Gary Marcus)的差异化研究工作做出回顾,表达了他自己在一系列重要符号处理问题上的立场。


但是,他所谓的“新”主意到底有多新?


读了那篇报道,我的第一反应是震惊。LeCun 提到的一切我之前几乎都曾说过,而且字句甚至都没多大变化——大部分内容来自我在 2018 年发表的《深度学习:一种批判性评价》的论文,LeCun 当时可是嘲讽说此文“大多不靠谱”。


下面我先列出他观点照搬的七个例子,之后再聊聊 LeCun 的观点整体上出了什么问题。


  • LeCun,2022 年:“今天的 AI 方法永远无法实现真正的智能(在标题部分使用,并非直接照搬)”;Marcus,2018 年:“如果我们要实现人工通用智能,必须为深度学习辅以其他技术。”

  • LeCun,2022 年:“[当前的深度学习模型]可能是未来智能系统中的组成部分,但我认为其中还缺少别的必要部分”;Marcus,2018 年:“尽管我已经罗列出所有问题,但我认为答案并不在于放弃深度学习。相反,我们需要重要为深度学习规定概念:它不是一种通用方法,而是众多工具中的一种。就像在物理世界中,我们不仅需要锤子、扳手、钳子和电动螺丝刀,还需要凿子、钻头、电压表、逻辑探针和示波器。”

  • LeCun,2022 年:“强化学习永远不足以实现智能”;Marcus,2018 年:“深度强化学习的能力其实跟概念感知没什么关系。”

  • LeCun,2022 年:“我们的智能机器甚至连小猫所能理解的常识都把握不了,所以为什么不从这里开始探索呢?”;Marcus,2022 年:“那在深度学习之外,我们还应该寄希望于哪里?……第二个关注重点也许是常识性知识。”

  • LeCun,2022 年:“我认为 AI 系统需要具备推理能力”;Marcus,2018 年:“深度学习的适用范围主要集中在分类方面,对跟常识推理有关的问题则束手无策。据我所知,深度学习几乎解决不了这方面问题。”

  • LeCun,2022 年:“退后一步来看,我们就像是造了一把梯子。但我们的终极目标是登月,这把梯子显然不可能帮我们达成心愿。”Marcus,2012 年《纽约客》:“套用一个古老的寓言,Hinton 通过深度学习造了把好梯子,但再好的梯子也没法让人登上月球。”LeCun 可以算是认认真真复述了一遍我的观点,而且完全没提到言论出处。


但我不打算指责 LeCun 抄袭,毕竟他可能只是在认识到现有架构的失败之后,很诚实地自己得出了这些结论。我之前的想法,现在终于为他所认清和接受。这对我来说相当于巨大的胜利——毕竟 LeCun 可是非常杰出的研究者,他能认可我的观点非常难得。

关于“攻击我从没写过 AI 论文”的驳斥:


但事情到这里还远没有结束。


首先,LeCun 明显想把自己的观点跟我的想法刻意区分开来。他之前公开批评过我的论文,所以这次发言他全程没提到很多想法我早就说过——这其实不大符合学术礼仪,也让人对这位老教授颇为失望。


不仅如此,为了保证我的言论得不到广泛支持,他还在采访中对我进行了无端且毫无客观性可言的攻击。他宣称“Gary Marcus 根本不是搞 AI 的,他其实是个心理学家。他从来没为 AI 做出过任何贡献。他在实验心理学方面做得非常好,但从来没写过关于 AI 的同行评议论文”——这种论断完全错误。


实际上,我在 AI 方面发表过很多文章,有些发表在同行评议的期刊上、有些没有。我最重要的 AI 论文就是关于神经网络实验的,而且在 1998 年就预见到了分布变化与异常值方面的难题——这些难题目前正困扰着 Yoshua Bengio 等研究者。


过去十年来,我发表了不少经过同行评议的 AI 论文,主题涵盖常识、利用不完整信息进行推理,以及模拟/自动推理的局限性等。


其中很多文章还是跟 LeCun 学术阵营中的同事、纽约大学计算机科学家 Ernest Davis 共同撰写的。而我最具影响力的 AI 成果,其实并不是期刊文章,而是 2001 年出版的《代数思维》(The Algebraic Mind ,由麻省理工出版社送交同行评议)。LeCun 在此次采访中表达的一切,在那本书中几乎都有提及。但讽刺的是,LeCun 却总在暗示自己没读过这本书,这实在太可笑了。


也许是 LeCun 的说法太过离谱,引得其他人现身帮我辩护。就在我撰写本文的同时,Vmind.AI 公司 CEO Miguel Solano 发表了推文来支持我:


Miguel Ignacio Solano @miguelisolano


@GaryMarcus @ZDNET @TiernanRayTech @ylecun 确实如此, @ylecun. @GaryMarcus 的《代数思维》(麻省理工学院出版社,2001 年)得到过 868 次引用,而且他肯定发表过 AI 文献: scholar.google.com/scholar?cites=…-2022 年 9 月 25 日


Henning Schwabe 的表达则更加尖锐:


Henning Schwabe @SchwabeHenning


@ylecun 的攻击并不公平,就连最支持深度学习的人也要站出来说两句了。 @GaryMarcus 是个很好的盟友,大家应该团结起来共同推动技术发展。过度自我永远是理性的敌人。


Dagmar Monett @dmonett


我在 @Eric_Sadin 的《世界的芯片殖民化》(2016/2018)中找到了对 LeCun 行为的解释。详见图片和翻译。@ZDNET 的采访也再次证明了这一点,让我们感受到了 LeCun 如何粗暴鲁莽地指摘其他学者的工作。😳 https://t.co/qy3WrIcJAb https://t.co/KlPXhYjNxM

—— 2022 年 9 月 25 日


研究生有时候爱用学分来证明自己。Harold Bloom 还专门写过《焦虑的影响》(The Anxiety of Influence)一书分析这种心态。但直到现在,我才在 LeCun 这个量级的大咖身上看到同样的毛病。


而且不是一次,是一次又一次。

LeCun 立场生变:用自己的方式否定自己的过去

LeCun 最近发表的每篇论文,都是在用自己的方式否定自己的过去。


其中一篇文章谈到了符号处理这个老大难问题。简单总结一下,LeCun 在很长一段职业生涯中都在抨击符号处理。他的研究合作伙伴 Geoff Hinton 也是一样,二人在 2015 年共同撰写的深度学习评论最后提到,他们“需要新的范式来取代基于规则的符号表达处理。”


现在,LeCun 又开始支持符号处理了(符号处理的概念不是我发明的,但我 30 年来一直都表示支持),而且表现得好像这是他刚刚发现的新趋势一样。但 LeCun 所说的“每位深度学习从业者都认为,符号处理是创建类人 AI 的必要一环”,其实就是过去几十年来无数研究者的探索方向。所以连一直支持 LeCun 的斯坦福 AI 教授 Christopher Manning 也表达了震惊:


Christopher Manning @chrmanning


我感觉 @ylecun 的立场似乎有所变化——可能是受到了 Browning 的影响;新的文章提到,“每位深度学习从业者都认为,符号处理是创建类人 AI 的必要一环。”但十年前可不是这么说的呀,或者现在大家真的都这么认为了?!?


—— 2022 年 7 月 28 日


在我一一列举出这些问题时,LeCun 并没有做出正面回应,而是转发了来自合著者 Browning 的一段莫名其妙的反驳:


Browning.jake00 @Jake_Browning00


来自 @GaryMarcus 的回复已经看到,但我们不同意他的观点,或者说不同意他所指出的分歧。不过我觉得,解决困难问题时难免会出现种种分歧。Noema Magazine @NoemaMag 长达十年的 AI 辩论终于要解决了吗?@garymarcus 似乎看到了结束的迹象。现在,“我们终下载可以专注于真正的问题:如何让数据驱动的学习与抽象符号表示统一起来。”https://t.co/QtaxfAEWdv


——2022 年 8 月 14 日


但对我提出的一条条反驳,他们完全没做出任何具体评论。

关于大模型的论断的辩论


LeCun 最近发表的另一篇文章谈到了一个重要问题,即大型语言模型是否真的走上了通往人工通用智能的正确道路,包括人是否真能单靠语言表达就掌握足够的常识。


LeCun 和合著者 Browning 提出了强有力的论断,认为单凭语言输入(也就是 GPT-3 训练模型之类的成果)还不够。他们专门写了一篇题为《AI和语言的局限》的文章,认为“单靠语言训练的系统既从现在开始一直训练到宇宙热寂,也永远不可能接近人类的智慧。”


但他们这个观点仍然不是原创。我在 2020 年 2 月《AI的下一个十年》一文中也提出过相同的问题:


等待越来越大的语言训练语料库中自动孕育出认知模型和推理能力,就像是在等待神迹的出现……——这几乎跟 LeCun 和 Browning 的结论完全相同。


这还没完呢。


下一个关键问题,就是我们到底该怎么做。我们没法单靠大型语言模型来真正解决 AI 问题,所以我就在 2020 年 1 月提出:


像 GPT-2 这样的系统无论自身功能表现如何,都不具备任何明确(即无法直接表示、无法简单共享)的常识知识、推理能力和确切认知模型。


之后是 2020 年 2 月:


花在改进大规模单词级预测模型上的每一秒钟都是浪费,不如用在开发有望实现推导、更新和推理认知模型的技术上。


听起来是不是很耳熟?LeCun 在最新采访中宣扬的,也是与认知模型相结合的相同观点。


而我在 2019 年第一次提出这个观点时,猜猜谁马上跳出来喷我?对,就是 Yann LeCun。


我当时写道:


Gary Marcus @GaryMarcus


像 GPT-2 这类系统的最大问题并不在于能不能理解数量(@ylecun 的意见恰好相反),而是没能发展出能准确表示事件如何随时间展开的清晰 w 数。这个问题单靠堆数量是解决不了的:


Yann LeCun @ylecun


@StanDehaene @GaryMarcus 实际上,接受过数量处理训练的机器确实学会了处理数量。Gary 总说通过训练来预测缺失单词的机器掌握不了数量的概念,呸!2019 年 10 月 28 日 这其实就是在用另一种表达,强调大型语言模型缺乏认知模型的问题。


当时,LeCun 还说我的论证在根源上就错了:


Yann LeCun @ylecun


@GaryMarcus 是错的。咱们看看: arxiv.org/abs/1612.03969其中表二:第 7 行(计数)和第 14 行(时间推理)都获得了 0 错误率(在 bAbl 任务中)。你在抛出论点的时候,最好搞清楚你的论据三年之前就已经站不住脚了。

—— 2019 年 10 月 28 日


现在他的想法变了,于是之前说过的话就如同没说。他也开始强调认知模型的重要意义,又反“捅”我一刀,坚称这是他的独创观点。

LeCun 的新论文“洗稿”多位前辈学者成果

所以我当然有理由生气,而且也有其他同行在为我打抱不平。


深度学习先驱、广泛应用的 LSTM 神经网络创造者 Jürgen Schmidhuber 最近也在推特上提到:


Jürgen Schmidhuber @SchmidhuberAI


Lecun (@ylecun)在 2022 年关于自主机器智能的论文中把老观点复述了一遍,但却丝毫没提到这些内容早在 1990 年到 2015 年的研究中就已经存在了。我们已经发表了他口中的那些“重要原创贡献”,包括:学习子目标、可预测的抽象表示、多个时间尺度等。


LeCun2022 年发表的新论文其实是对 1990 至 2015 年间原有成果的“洗稿”,例如 1990 年:梯度下降学习子目标;1991 年:多个时间尺度与抽象级别;1997 年:学习可预测抽象表示的世界模型……


—— 2022 年 7 月 7 日“复述却不引用”——这可以说是对其他学术研究者最大的冒犯了。


LeCun 的新宣言总体上还是出于良好的动机,呼吁将“可配置的预测世界模型”纳入深度学习。我也一直强调应该这么做,但最早提出这一理念的是 Schmidhuber。作为 1990 年代的深度学习先驱,他也一直在为此而努力,但 LeCun 对此甚至不愿提一句感谢。

LeCun 观点引来多位学者批评


LeCun 的妄言已经在推特上激起波澜。


德国计算神经科学家与 AI 研究员 Patrick Krauss 也在推文中嘲讽:


Patrick Krauss @Krauss_PK


哇哦,AGI 终于实现了! 😂 @ylecun 发现了迄今为止深度学习中缺失的环节:常识和世界模型! technologyreview.com/2022/06/24/105…@GaryMarcus @maier_ak


Yann LeCun 对于 AI 未来的大胆设想,其实是把当初深度学习先驱们的观点汇总了起来。但尝试回答问题的同时,这又生成了很多新的问题。

—— 2022 年 6 月 25 日


今天早上,Lathropa 发布了更加尖锐的批评。大家都知道,我在 2022 年 3 月发表的《深度学习正走进死胡同》(https://nautil.us/deep-learning-is-hitting-a-wall-238440/)一文受到了 LeCun 的猛烈抨击。


现在几个月过去,他怎么想法又变了呢?


Lathropa @lathropa@GaryMarcus @MetaAI @ylecun “好吧,我们造了把梯子,但我们想要登月,而靠这把梯子显然登不了月。”LeCun 说他希望重新审视深度学习的基本概念,“似乎是说他的方法走进了某种形似死胡同的空间”…… -2022 年 9 月 25 日


我实在没从 LeCun 的采访中看到什么真正的新东西,所以昨天专门邀请他在推特上做出解释。他暂时还没回复,让我们拭目以待。


原文链接:


https://garymarcus.substack.com/p/how-new-are-yann-lecuns-new-ideas

2022-09-26 14:185655
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 537.0 次阅读, 收获喜欢 1977 次。

关注

评论

发布
暂无评论
发现更多内容

什么是DApp?DApp开发指南

区块链软件开发推广运营

交易所开发 dapp开发 区块链开发 链游开发 NFT开发

Axure RP 8 破解版下载-附axure rp 8 注册码,可永久汉化激活

理理

NFTScan | 10.07~10.13 NFT 市场热点汇总

NFT Research

NFT\ NFTScan

数据结构 - 栈

EquatorCoco

数据结构

Lightroom Classic (lr) 安装后提示“内部出现错误,无法创建文件夹”的解决办法

Rose

鸿蒙开发案例:黑白棋

zhongcx

如何在 Mac 里装 Windows ?试试 Parallels Desktop虚拟机

Rose

数字货币交易所源码开发:场外(OTC)与币币交易所系统的构建指南

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

Pixelmator Pro for mac:图像编辑新境界!

理理

​非凸科技银牌赞助的GOSIM CHINA 2024即将在北京开幕,欢迎大家报名参加

非凸科技

电子邮件客户端软件 Microsoft Outlook 2019 for mac 中文激活版 兼容M/intel芯片

理理

MT7915 in Action: Driving Seamless Wireless Solutions

wallyslilly

MT7915

想给MAC电脑换个壁纸?苹果电脑各类高清壁纸资源分享

Rose

Dropover for mac,最方便的文件移动方式

Rose

“DataOps+大模型”——数造科技在大模型时代的数据开发创新探索

数造万象

人工智能 AI DataOps 大模型 #SQL

4K Video Downloader Plus Pro v1.9.2激活版 专业版在线视频下载器

iMac小白

Keka:文件压缩解压新利器,轻松管理存储空间!

理理

菜单栏一键开关控制神器 One Switch for Mac v1.33.1中文版

理理

一文为你解读MySQL8.0 Instant DDL源码实现

华为云开发者联盟

数据库 元数据 :MySQL 数据库 instantID

Logic Pro X插件在哪个位置?Logic Pro X最新中文直装版安装包

Rose

PS笔刷集合:给大家推荐几款非常好用的PS笔刷

Rose

人工智能 | openai chatgpt 大语言模型

测试人

人工智能 软件测试

MacOS最强视频下载工具Downie 4

Rose

3D渲染和动画制作软件 KeyShot 9 Pro for Mac 下载安装包 附KeyShot 9破解补丁

理理

IINA播放器:Mac平台开源视频播放器

理理

JavaScript原型链污染探讨

不在线第一只蜗牛

JavaScript

Parallels Desktop虚拟机怎么完全卸载? PD虚拟机完全卸载方法

Rose

Disk Drill:全面扫描,精准恢复,数据不再丢失!

理理

GraphPad Prism 10:精准统计,精美绘图,科研神器在手!

理理

最新版photoshop 运行弹窗This non-genuine Adobe app has been disabled 详细的解决方法

Rose

iCHM Reader for Mac(chm阅读器)v2.1.3中文激活版

理理

“抄我的还‘反捅’我一刀”,Gary Marcus发文驳斥图灵奖得主Yann LeCun_AI&大模型_Gary Marcus_InfoQ精选文章