AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

人工智能面临着“可复现性”危机

  • 2019-10-09
  • 本文字数:3148 字

    阅读完需:约 10 分钟

人工智能面临着“可复现性”危机


神经网络是一种技术,这种技术让我们制造出了 Go-mastering 机器人,以及能创作中国古典诗歌的文本生成机器人,但这种技术通常被称作黑盒子,因为它们运转的原理非常神秘。想让它们运作良好可谓是一门艺术,它涉及许多媒体没有报道的微调操作。网络也在变得越来越大、越来越复杂,加上庞大的数据集和庞大的计算机阵列,使得复现和研究这些模型变得非常昂贵,只有资金最充足的实验室才能承担这样的研究。来自麦吉尔大学(McGill)的计算机科学教授若埃尔·皮诺(Joelle Pineau)正试图改变这种局面。本文介绍了当前深度学习领域的一个主要问题,即研究内容的可复现性,可复现性好的研究,这对于技术发展是很重要的,并介绍了学术界对此所做的努力和讨论。



Facebook 的研究人员表示,他们发现要复现 DeepMind 的 AlphaGo 程序 ‘就算能做到,也是非常困难的’ 。图片制作:GETTY IMAGES


几年前,麦吉尔大学(McGill)的计算机科学教授若埃尔·皮诺(Joelle Pineau)在帮助学生设计新的算法,她的学生们当时陷入了困境。她的实验室研究强化学习,这是人工智能的一种,用于帮助虚拟角色(“半猎豹”和“蚂蚁”的虚拟角色很受欢迎)自学如何在虚拟世界中移动。这是制造自动机器人和汽车的先决技术条件。皮诺的学生希望改进实验室的另一个系统。但首先他们必须重建它;不知道出于什么原因,他们的设计未能达到预期的效果,直到学生们尝试了一些其他实验室的论文中没有提过的“创造性的操作”。


瞧,这个系统开始像宣传的那样运行了。皮诺表示,这种幸运的突破是一种让人困扰的趋势的征兆。神经网络是一种技术,这种技术让我们制造出了 Go-mastering 机器人,以及能创作中国古典诗歌的文本生成机器人,但这种技术通常被称作黑盒子,因为它们运转的原理非常神秘。想让它们运作良好可谓是一门艺术,它涉及许多媒体没有报道的微调操作。网络也在变得越来越大、越来越复杂,加上庞大的数据集和庞大的计算机阵列,使得复现和研究这些模型变得非常昂贵,只有资金最充足的实验室才能承担这样的研究——如果能够承担的话。


“那还算是研究吗?”马萨诸塞大学机器学习研究员安娜·罗杰斯(Anna Rogers)问道。“也搞不清楚你是在展示模型的优越性,还是在展示你预算的优越性。”


皮诺正试图改变这种局面。她是顶级人工智能会议 NeurIPS 的可复现性主席。在她的监督下,会议现在要求研究人员提交一份“可复现性清单”,其中包括一些经常从论文中省略的信息,比如在选出“最佳”模型之前训练过的模型数量、使用的计算能力,以及代码和数据集的链接。这是该领域的一次变革——这个领域的参与者声誉建立在排行榜的基础之上(排行榜决定了谁的系统是某项特定任务的“最先进水平”),并提供了大量激励,让人们掩盖得出这些惊人结果背后他们所经历的曲折。


皮诺说,这个想法是为了鼓励研究人员为其他人提供一个复制自己工作的路线图。新文本生成器的口才或电子游戏机器人的“超人”敏捷性的确令人惊讶,但即使是最老练的研究人员也对它们的工作原理知之甚少。复现这些人工智能模型不仅对找出研究的新途径很重要,而且也是一种研究算法的方式,这类算法能够增强,并且在某些情况下能够取代人类做出决策,例如决定谁呆在监狱,多长时间批准抵押贷款等。


其他人也在着手解决这个问题。谷歌的研究人员提出了所谓的“model cards”,来详细说明机器学习系统是如何被测试的,包括指出具有潜在偏差的结果。其他人则试图证明”最先进“这个表述有多脆弱,因为针对排行榜中使用的数据集而进行优化的系统,换到其他环境中就变得非常不可靠。上周,艾伦人工智能研究所 的研究人员发表了一篇论文,旨在将皮诺的可复现性清单扩展到实验过程的其他部分。他们称之为“展示你的作品”。


“从一个人停下的地方开始是如此痛苦,因为我们从来没有完整地描述过实验设置,”AI2 研究员杰西道奇(Jesse Dodge)说,他是这项研究的合著者之一。“如果我们不谈论我们所做的事情,人们就无法复现我们所做的事情。他补充说,当人们公开系统构建过程的基本细节时,大家都会感到惊讶。去年一项关于强化学习论文的调查发现,只有大约一半的论文包含代码。


有时基本信息会丢失,因为它是私有的——这对工业界的实验室来说尤其是个问题。但道奇说,这更多是表明该领域未能跟上不断变化的方法。研究人员为了改善他们的研究结果而做了哪些改变,这在十年前是能比较直观的看到的。相比之下,神经网络则比较讲究;要获得最佳效果,通常需要调节数千个节点,道奇称之为是一种“黑魔法”。选出最佳模型往往需要大量的实验。这种魔法成本变高,速度也变得更快了。


就连大型工业界实验室也发出了警报,它们拥有着设计最大和最复杂系统的资源。当 Facebook 试图复制 AlphaGo 时,研究人员似乎被这项任务搞得筋疲力尽。AlphaGo 是 Alphabet 旗下 DeepMind 开发的一个系统,用来让机器掌握古老的围棋游戏。Facebook 在 5 月份发表的一篇论文中写道,庞大的计算需求——在数千台设备上运行数百万次的实验,加上不可获得的源代码,使得该系统“即使不是不可能,也很难复制、研究、改进和扩展”。(Facebook 团队最终成功了。)


AI2 的研究为这个问题提出了一个解决方案。这个想法就是提供更多的实验数据。你仍然可以报告你在 100 个实验之后得到的最佳模型——这个结果可能被声称为“最先进的”——但是你也可以说明,如果你只有尝试 10 次或者仅仅一次的预算时,你所期望的性能范围会是怎样的。


道奇说,复现性的重点不是准确地复现结果,因为考虑到神经网络代码中的随机因素,以及具体硬件和代码运行的不同,这几乎是不可能的。相反,这个想法是提供一个路线图,以达到与原版的研究相同的结论,特别是涉及到决定哪个机器学习系统最适合某一特定任务时,复现性就尤为重要。


道奇解释说,这可能有助于提高研究效率。当他的团队重建一些流行的机器学习系统时,他们发现在预算约束下,较为陈旧的方法比更酷炫的方法更有意义。这一想法旨在帮助规模较小的学术实验室,让他们大致了解如何让他们的资金得到最大回报。他补充说这样做的一个附带好处是,考虑到训练大型模型可能需要的能源相当于一辆汽车的终生排放量(https://twitter.com/strubell/status/1129408199478661120?lang=en),这种方法还会促使研究变得更为环保。


皮诺说,她很高兴看到其他人试图“开放模型”,但她不确定是否大多数实验室会利用这些节省成本的好处。许多研究人员在压力下还是会使用更多的计算机来保持领先地位,之后才会考虑效率这件事。她还补充说,要为研究人员报告结果的方式做出规范也是很棘手的。AI2 的“展示你的作品”方法可能掩盖了研究人员选择最佳模型过程的复杂性。


这些方法上的差异,部分地解释了为什么 NeurIPS 复现性检查表需要是一个自愿的行为。尤其对工业实验室来说,一个绊脚石是其代码和数据的私有性。比如说,如果 Facebook 正在对你的 Instagram 照片进行研究,那么公开分享这些数据就会有问题。涉及健康数据的临床研究是另一个症结所在。“我们不想切断研究人员与社区的联系,”她说。


换句话说,很难在不限制研究人员的情况下开发出可复现性的标准,尤其是在方法快速发展的情况下难度更大。但皮诺很乐观。NeurIPS 可复现性工作的另一个挑战是要求其他研究人员复现已接受的论文。与其他领域相比(如生命科学,其中旧的方法会持续使用很久),这个领域中的研究人员更习惯于身处那种灵敏而快速变化的环境中。她表示:“无论是从人才还是技术角度来看,这个领域都很年轻,挡在路上的惯性思维更少。”

作者介绍

Gregory Barber 是 WIRED 网站的一位专职作家,撰写区块链,AI 和技术策略方面的文章。他是哥伦比亚大学计算机科学和英语文学专业的学士,现居于旧金山。


原文链接:


https://www.wired.com/story/artificial-intelligence-confronts-reproducibility-crisis


2019-10-09 09:002111
用户头像

发布了 61 篇内容, 共 27.0 次阅读, 收获喜欢 135 次。

关注

评论

发布
暂无评论
发现更多内容

一天吃透Git面试八股文

程序员大彬

git 面试

FL Studio21中文语言版水果编曲工具

茶色酒

FL Studio21

工作一年,我重新理解了《重构》

阿里巴巴中间件

阿里云 云原生 重构

阿里云消息队列 Kafka 生态集成的实践与探索

阿里巴巴中间件

kafka 阿里云 云原生 消息队列

使用OpenAI接口释放ChatGPT API 的力量

devpoint

React nextjs ChatGPT

从混乱到完备:我的研发流程之路

SkyFire

研发流程

经验分享:高德地图如何短时间快速完成春节出行备战工作?

阿里巴巴中间件

阿里云 云原生 函数计算

将老人拉出无声的世界,AI是怎么做的?

脑极体

AI医疗

架构训练营-模块9秒杀系统

张Dave

如何设计一个优秀的 Go Web 项目目录结构

江湖十年

Go 设计 后端 项目 Web Service

Portraiture2023人像免费磨皮插件

茶色酒

Portraiture2023

架构实战 8 - 消息队列MySql表格设计

架构实战营 「架构实战营」

国内AGV调度系统到底是什么水平?

申扬科技

调度系统 AGV

强强联合:Neovim+ChatGPT | 社区征文

SkyFire

ChatGPT neovim

Matlab常用图像处理命令108例(二)

timerring

图像处理

在前端领域摸爬滚打7年,我终于掌握了这些沉淀技巧

小鑫同学

极氪汽车 APP 系统云原生架构转型实践

阿里巴巴中间件

阿里云 云原生

YOLOv5全面解析教程⑥:模型训练流程详解

OneFlow

人工智能 深度学习

初识大热的ChatGPT的几点思考|社区征文

穿过生命散发芬芳

ChatGPT

订单超时怎么处理?我们用这种方案

阿里巴巴中间件

阿里云 云原生

统一观测丨使用 Prometheus 监控 E-MapReduce,我们该关注哪些指标?

阿里巴巴中间件

阿里云 云原生

28岁小公司程序员,无车无房不敢结婚,要不要转行?

程序员晚枫

程序员 收入

大型供应链物流企业的数字化转型方法论

明道云

AutoCompleteTextView的基本使用

芯动大师

android 控件 AutoCompleteTextView

前端学习

阡陌r

Spinner(列表选项框)的基本使用

芯动大师

android spinner galley

【分布式技术专题】「分布式技术架构」一文带你厘清分布式事务协议及分布式一致性协议的算法原理和核心流程机制(上篇)

码界西柚

分布式 2PC 3PC 原理分析 分布式协议

LeSS敏捷框架高效生产力实践

俞凡

敏捷开发 大厂实践

Kubernetes容器状态探测的艺术

俞凡

Kubernetes 云原生

JavaScript异步编程的深入理解,使用回调函数实现异步编程

兴科Sinco

JavaScript 前端 前端开发 异步编程

前端学习路径

阡陌r

人工智能面临着“可复现性”危机_AI&大模型_Gregory Barber_InfoQ精选文章