AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

MIT 提出可压缩模型的 AI 框架,激励软件代理探索其环境

  • 2020-05-22
  • 本文字数:1853 字

    阅读完需:约 6 分钟

MIT 提出可压缩模型的AI框架,激励软件代理探索其环境

2020年国际学习表征会议(ICLR)接受的两篇论文中,MIT 的研究者提出了激励软件代理(agent)以探索其所处环境,以及修剪算法来提升 AI 应用程序性能的新方法。总的来说,这两种新方案可以促进工业、商业和家用自主机器人的发展;相比现有的竞品,这些方案不需要那么多的计算能力,但同时功能却更强大。

“好奇心”算法

一支团队提出了一种元学习算法,其可以生成 52,000 个探索算法,这些算法可以让代理更深入地探索自己的周围环境。他们探索了其中两种全新算法,并借此改善了一系列模拟任务的学习过程——这些任务包括让月球车登陆,以及用机械手臂抓起蚂蚁大小的机器人等。



图源 Alex Knight


这支团队的元学习系统首先选择一系列高级操作(基本编程,机器学习模型等等)来引导代理执行各种任务,包括记忆以前的输入、比较和对比当前和之前的输入、利用学习方法更改自己的模块等等。元学习系统从共计三十多种操作中,一次最多组合七种不同操作,从而生成了描述之前提到的 52,000 种算法的计算图。


测试所有的算法将花费数十年时间,所以研究者们首先将从代码结构就可以预测出其糟糕性能的算法排除在外。之后他们在一项基本的网格级导航任务中测试了最有希望的候选算法,该任务需要大量的探索,但计算量很小。表现良好的算法被列为新的基准,随后淘汰了一大堆候选算法。


研究团队表示他们使用了四台机器,搜索运行十多小时之后找到了最佳算法。总数超过一百的高性能算法中,前 16 种有用且新颖,性能可以与人工设计的算法相媲美,甚至还会更好。


研究者将前 16 个模型的优秀性能归因于它们都具备的两个探索特性。首先,代理会因为访问一个新地方而获得奖励,因为这样它们就更可能采取新的行动。其次,一个 AI 模型学习预测代理未来的状态,另一个模型则会回顾过去的状态,二者相辅相成以预测现在状态。这样的话,如果预测错误,则二者都会因发现新东西而受到奖励。


因为元学习进程会生成高级计算机代码作为输出,因此可以将这两种算法分解后查看其决策过程。MIT 研究生马丁·施耐德(Martin Schneider)在一份声明中称“人类可以阅读并解释我们生成的算法,但如果想要真正的理解代码,就需要对每一个变量和操作进行推演,并观察它们如何随着时间演变。”他与另一名研究生 Ferran Alet,MIT 计算机科学与电气工程教授 Leslie Kaelbling 及 Tomás Lozano-Pérez 共同撰写了这份研究论文。


“一方面我们借助计算机的能力来评估大量算法,另一方面我们利用了人类解释并改进这些算法的能力,将这二者结合起来设计算法和工作流程是一项很有趣的开放性挑战。”

缩小 AI 模型

在第二份研究中,一支 MIT 团队提供了一种可靠的,可以在资源受限的设备上运行的模型缩小框架。尽管团队还不能解释为何该框架表现如此出色,但不可否认的是,该压缩方法甚至比一些顶尖的压缩方法实现起来更容易且更快。


该框架是“彩票假设(Lottery Ticket Hypothesis)”的产物。论文显示如果在训练过程中能够确定正确的子模型(submodel),那么即使减少了 90%的参数,模型依旧表现良好。研究的合著者,同时也是“彩票假设”的提出者,建议将模型重新“带回”到早期训练阶段,不带任何参数(例:根据已有数据估算模型内部配置变量),然后再重新训练模型。模型修剪方法通常会导致模型精度随着时间变化逐渐降低,但是这种方式却可以将模型精度还原到最初始的状态。


这为更广阔的 AI 研究领域带来了好消息,为解决该领域的可访问性和可持续性问题带来了希望。去年六月(2019 年 6 月),马赛诸塞州大学阿默斯特分校的研究者发布了一项研究,估算出训练并搜索某模型需要花费的电量,这些电量伴随着约 626,000 磅的二氧化碳排放,相当于美国普通汽车服役周期排放量的近五倍。根据最近的一份Synced报告,华盛顿大学用于生成/检测假新闻的 Grover 机器学习模型在两周的训练中花费了 25,000 美元。


MIT 助理教授韩松表示“很高兴看到新的修剪算法和重新训练技术的不断发展”。韩松建立了行业标准修剪算法 AMC,但并未参与到前文提到的这项研究之中。他最近与他人合著了一篇关于如何提升大型模型的 AI 训练效率的论文,论文中提到的模型包含许多可以针对各种平台定制预训练的子模型。 “(该模型)可以让更多的人得以利用高性能 AI 应用程序。”


MIT 博士学生 Alexa Renda 与 MIT 助理教授/博士学生 Jonathan Frankle 合著了该项研究。二人都是 MIT 计算机科学与人工科学实验室(CSAIL)成员。


延伸阅读:


https://venturebeat.com/2020/04/28/mit-presents-ai-frameworks-that-compress-models-and-encourage-agents-to-explore/


2020-05-22 15:351387
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 570.7 次阅读, 收获喜欢 1979 次。

关注

评论

发布
暂无评论
发现更多内容

ARTS 打卡第 6 天

自由

Presto 设计与实现(一):开篇

冰心的小屋

数据湖 presto SQL引擎

SpringBoot3集成ElasticSearch

Java elasticsearch 架构 springboot SpringBoot3

智能标签系统如何助力智能推送服务

MobTech袤博科技

前端开发 消息推送 APP开发 前端开发工具

TDengine 3.1.0.0 版本成功发布,涉及五大板块功能更新!

TDengine

tdengine 时序数据库

QT使用QML实现地图绘制虚线

芯动大师

【数据库原理 | MySQL】一文打通 DDL语句 - ARTS 打卡第 一 周

计算机魔术师

Apache 官方限定社区周边,Community Over Code 亚洲大会参会礼包抢鲜看!

Apache IoTDB

对线面试官 - TCP 经典面试题

派大星

Java 面试题

报表分析工具免费试用:瓴羊Quick BI带你快速解析数据

夜雨微澜

【名师代练】带你玩转 RocketMQ,角逐「RocketMQ 首席评测官」

阿里巴巴云原生

阿里云 云原生 Apahce RocketMQ

如何落地复杂系统的架构治理?

码猿外

架构设计 软件架构治理

线上观看5万+,“芯”有灵“蜥”融合·创新!龙蜥社区走进 Intel MeetUp 回顾来了

OpenAnolis小助手

开源 芯片 intel Meetup 龙蜥社区

从“智能涌现”到“价值涌现”,讯飞星火又一次“登月”

脑极体

讯飞

20. 异常处理

茶桁

Python 异常

锐炫无畏,助威亚运!英特尔锐炫显卡成为杭州亚运会官方指定图形处理器

E科讯

免费物联网平台好用吗?物联网平台卷蒙圈了,集体不要钱,白嫖的到底能不能用?

Geek_a6511e

物联网平台 物联网 物联网低代码平台 物联网平台选型

什么是主数据管理?企业主数据管理方法论

优秀

主数据管理 主数据

融云:以对话为场景本质,AIGC 将如何改变游戏规则

融云 RongCloud

人工智能 AI 算法 AIGC 通讯

融云出海:两极分化的网红大户「拉美」如何出海制胜

融云 RongCloud

互联网 泛娱乐 出海 社交娱乐 社媒

【Python】一键查询依赖生成文件 requirements.txt

ReturnTmp

商业智能工具 bi工具是什么,瓴羊Quick BI能给企业主带来哪些优势?

对不起该用户已成仙‖

【学习课程送福利!】InfoQ最新Java开发课程喊你来领奖品!100%中奖!

飞算JavaAI开发助手

云原生 AI 工程化实践之 FasterTransformer 加速 LLM 推理

阿里巴巴云原生

阿里云 AI 容器 云原生

一个好用的低代码平台应具有哪些素养?

树上有只程序猿

低代码 零代码 应用开发

文心一言 VS 讯飞星火 VS chatgpt (76)-- 算法导论7.3 1题

福大大架构师每日一题

福大大架构师每日一题

深度解读智能化编码的技术架构与实践案例

阿里云CloudImagine

云计算 编码 视频云

提速 40%,融云基于 QUIC 深度优化通信协议

融云 RongCloud

网络 协议 融云 QUIC 通讯

ASR 语音识别接口封装和分析

非晓为骁

AI 语音识别 ASR AIGC

低代码平台技术分享官丨工作流应用场景之动态驳回

inBuilder低代码平台

什么是业务敏捷,如何实现业务敏捷?

CODING DevOps

敏捷开发

MIT 提出可压缩模型的AI框架,激励软件代理探索其环境_AI&大模型_Kyle Wiggers_InfoQ精选文章