“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

研究了 50 篇论文后,他发现 AI 领域的某些进步其实就是炒作

  • 2020-06-11
  • 本文字数:2187 字

    阅读完需:约 7 分钟

研究了50篇论文后,他发现AI领域的某些进步其实就是炒作

研究人员评估了 81 种剪枝算法、程序,它们通过对不需要的连接进行剪枝来提高神经网络的效率。这些方法差别不大,但所有人都宣称自己具有优越性。然而,很少有人对它们进行恰当的比较——当研究人员设法把它们放在一起评估时,并没有明确的证据可以表明近 10 年来它们的性能有什么改善。


本文最初发布于科学杂志,由 InfoQ 中文站翻译并分享。


人工智能(AI)似乎变得越来越聪明。每一部 iPhone 都比上一部更了解你的脸、声音和习惯,人工智能对隐私的威胁也在不断增加,职位也在不断增加。这种激增反映了更快的芯片、更多的数据和更好的算法。但是,麻省理工学院的计算机科学研究生 Davis Blalock 说,有一些改进是来自微调,而不是发明者声称的核心创新,而有些改进可能根本就不存在。Blalock 和他的同事比较了几十种改进神经网络的方法(大致模仿大脑的软件架构)。他说,“在研究了 50 篇论文之后,事情已经变得很清晰,当时的技术水平到底如何并不是一件显而易见的事情。


研究人员评估了 81 种剪枝算法、程序,它们通过对不需要的连接进行剪枝来提高神经网络的效率。这些方法差别不大,但所有人都宣称自己具有优越性。然而,很少有人对它们进行恰当的比较——当研究人员设法把它们放在一起评估时,并没有明确的证据可以表明近 10 年来它们的性能有什么改善。今年 3 月,在机器学习与系统大会上公布的这一结果让 Blalock 的博士生导师、麻省理工学院的计算机科学家 John Guttag 感到意外,他指出,这种无规则的对比本身就说明了技术发展的停滞。Guttag 说,“老话说得好,无法度量就无法改进,对吧?”


研究人员逐渐意识到,人工智能的许多子领域的进展都出现了问题。2019 年开展的一项针对搜索引擎中使用的信息检索算法的元分析表明,“最高点……实际上出现在 2009 年。”2019 年的另一项研究再现了 7 个神经网络推荐系统,这类系统主要用于流媒体服务。研究发现,有六种算法的性能没有超过多年前开发的简单许多的非神经算法(这些早期的技术当时都经过了调优),揭示了该领域的“进展幻象”。


今年 3 月,来自康奈尔大学的计算机科学家 Kevin Musgrave 在 arXiv 网站上发表了一篇论文,他研究了损失函数,这是这类算法的一部分,从数学上明确了算法的目标。Musgrave 在一项涉及图像检索的任务中,基于同样的标准对其中的 12 种方法进行了比较,结果发现,与开发人员的说法相反,准确性自 2006 年以来就再没有提高。Musgrave 说:“这一直以来都是炒作。”


机器学习算法的性能增强可以来自其架构、损失函数或优化策略(如何使用反馈进行改进)的根本性变化。来自卡耐基梅隆大学的计算机科学家 Zico Kolter 表示,对上述任何一种技术进行细微的调整都可以提高性能。Kolter 的研究内容是经过训练后能够对黑客的“对抗性攻击”免疫的图像识别模型。一种被称为投影梯度下降(PGD)的早期对抗性训练方法(该方法会同时在真假样例上进行简单的训练),似乎已经被更复杂的方法所超越。但在今年 2 月 arXiv 发表的一篇论文中,Kolter 和他的同事们发现,当使用一个简单的技巧来对它们进行增强时,所有方法的效果都差不多



在经过适度调整后,旧的图像检索算法和新算法的性能一样好,这表明,实际的创新很少。


“这非常令人惊讶,这一点我们以前没有发现,”Kolter 的博士生 Leslie Rice 说。而 Kolter 表示,他的发现表明,像 PGD 这样的创新很难做到,而且很少有实质性的改进。“很明显,PGD 实际上就是一种正确的算法,”他说,“这显而易见,而人们希望找到更为复杂的解决方案。”


其他主要算法的进步似乎也经受住了时间的考验。1997 年,一种被称为长短时记忆(LSTM)的架构在语言翻译方面取得了重大突破。在经过适当的训练后,LSTM的性能可以与20年后开发的更先进的架构相媲美。另一个机器学习的突破出现在 2014 年的生成对抗网络(GAN)中,举例来说,它可以将网络以生成-判别循环的方式进行配对,以提高它们生成图像的能力。据2018年的一篇论文报道,只要计算能力足够,原始的 GAN 方法就可以与后续几年的方法相媲美。


Kolter 说,与调整现有算法相比,研究人员更愿意去创造一种新的算法,并对其进行调整,直到达到最先进的水平。他指出,调整现有算法可能显得不那么新颖,使得“发表论文的难度大大增加”。


Guttag 说,算法的发明者不希望与他人的算法进行彻底的性能比较,结果却发现他们的突破性进展并不是他们所认为的那样。“比较太仔细是有风险的。”同时,那也是一项艰苦的工作:人工智能研究人员使用不同的数据集、调优方法、性能指标和基线。“完全的横向对比是不现实的。”


一些夸大性能的说法可以归因于该领域的爆炸性增长,该领域的论文数量超过了有经验的审稿人。Blalock 说,“这似乎是成长的烦恼”。他敦促审稿人,要坚持与基准进行更好地比较,并表示,更好的工具将有所帮助。今年早些时候,Blalock 的合著者、麻省理工学院研究员 Jose Gonzalez Ortiz 发布了一款名为 ShrinkBench 的软件,它可以让人们更轻松地比较剪枝算法。


研究人员指出,即使新方法在本质上并不比旧方法更好,但他们所实现的调整也可以应用到之前的算法上。每隔一段时间,就会有一个新的算法出现。“这几乎就像一个风险投资组合,”Blalock 说,“其中一些业务并没有真正发挥作用,但有些却非常成功。”


查看英文原文:


https://www.sciencemag.org/news/2020/05/eye-catching-advances-some-ai-fields-are-not-real


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2020-06-11 11:228466
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 261.1 次阅读, 收获喜欢 1293 次。

关注

评论 1 条评论

发布
用户头像
大多数AI仍旧是基于既定逻辑的判断,虽然也有很多可以在交互过程中“学习”,但是仍旧很难将所“学”的转化为既定逻辑的补充。神经网络需要在特定边界内有自我完善的能力才能够成为真正的AI。
2020-06-13 00:34
回复
没有更多了
发现更多内容

落实等级保护工作的意义简单说明-行云管家

行云管家

网络安全 等保 等级保护 安全等级保护

1024 写给程序员的一些建议

Andy阿辉

编程 程序员 程序人生 程序 java;

字节跳动Web Infra发起 Modern.js 开源项目,打造现代 Web 工程体系

字节跳动终端技术

字节跳动 大前端 开源技术

四万字32图,Kafka知识体系保姆级教程宝典

五分钟学大数据

大数据 kafka

二本渣渣的金九银十辛酸面试之旅:5 面阿里(Java岗) 侥幸上岸

Java 编程 程序员 架构 面试

【权限专栏】联盟链的“圆桌会议”

趣链科技

腾讯数字生态大会【TechoDay技术回响日】

腾讯云数据库

云主机是什么?可以用来干嘛?

行云管家

云计算 云服务 云主机 云平台

Aeron是什么?

BUG侦探

Aeron

科技热点周刊|微软发布 Web 版 VSCode、 删除 .NET 6 热重载引发不满、IBM 发布开源混合云介绍指南

青云技术社区

云计算 云原生 kubenetes CockroachDB

京东架构师珍藏版:redis深度笔记(全彩版)全篇精华,细节满满

收到请回复

redis 编程 面试 后端 计算机

MongoDB技术实践与应用案例征集活动

MongoDB中文社区

mongodb

校招失败,在小公司熬了2年后我终于进了阿里,竭尽全力(Java岗)

Java 程序员 架构 面试 计算机

anyRTC从服务到产品全链路服务保障升级

anyRTC开发者

音视频 直播 实时通信 语音通话 视频通话

helm部署的es出现探针过不了的问题

ilinux

4个实验,彻底搞懂TCP连接的断开

Java 架构 TCP 后端 网络编程

第二存储解决方案白皮书 | 专为非生产数据而设计的存储方案

QingStor分布式存储

云原生 分布式存储

联想智慧服务荣获第17届“金耳唛杯”年度总冠军

科技大数据

终于有人把云原生存储讲明白了

青云技术社区

云计算 云原生 存储 Cloud Native

用会声会影制作手链的展示视频

懒得勤快

快手技术嘉年华 | 与你漫游技术星辰大海

快手中学

技术 校招 快手

携手企业创新 共创美好未来——低代码助力企业数字化

明道云

高校人才集聚飞桨启航菁英计划!百度联合中国图象图形学学会助力AI人才培养

百度大脑

人工智能 百度 图像

CFI技术新探索,struct_san今日登场

腾讯安全云鼎实验室

云安全

【引航计划】优质内容合集名单公布

InfoQ写作社区官方

引航计划 热门活动

英特尔公司CEO帕特·基辛格致开放生态系统的一封公开信

科技新消息

Kubernetes Operator 开发入门

侯生

Kubernetes operator #k8s

每周学习感想

张靖

#架构实战营

Python代码阅读(第46篇):寻找符合条件的元素

Felix

Python 编程 Code Programing 阅读代码

微信业务架构

stars

架构训练营

事件管理CRM系统是活动策划工作的必要工具

低代码小观

CRM 管理系统 事件管理 CRM系统 活动策划

研究了50篇论文后,他发现AI领域的某些进步其实就是炒作_AI&大模型_Matthew Hutson_InfoQ精选文章