写点什么

Uber 的合成训练数据将深度学习的速度提升了 9 倍

2020 年 2 月 12 日

Uber的合成训练数据将深度学习的速度提升了9倍

Uber人工智能实验室开发了一种名为生成式教学网络(GTN)的算法,该算法为神经网络生成合成训练数据,使得神经网络的训练速度比使用真实数据时更快。利用这些合成数据,Uber 将其神经结构搜索(NAS)深度学习优化过程提升了 9 倍。


在 arXiv 上发表的一篇论文中,该团队描述了这个系统和一系列的实验。GTN 的动机来自神经结构搜索(NAS)问题,它训练许多不同的深度学习模型结构,并针对一组测试数据选择表现最好的一个。虽然一种典型的方法是在完整的数据集上通过多次迭代(或 epoch)训练每个模型,但这既耗时又昂贵。不过,模型可以在 GTN 的合成数据上进行训练,耗时更短,并且可以对其在真实训练数据上的真实表现进行估计;这样可以快速地对模型进行评估,缩短了搜索时间。据研究人员称:


GTN-神经结构搜索(GTN-NAS)堪比目前最先进的 NAS 方法,这些方法的表现最好,并且计算量比典型的 NAS 方法少几个数量级。


神经结构搜索是自动机器学习(AutoML)中一个活跃的研究领域。NAS 有一个缺点,它需要训练许多深度学习模型来确定哪个模型表现得最好。该研究主要侧重于高效探索搜索空间,这意味着该系统将训练更少的模型。Uber 的系统生成了一个新数据集,使得每个模型迭代训练的次数更少,这样,系统就可以在相同的时间内试验更多的模型。


通过较少的迭代训练模型存在的问题是,在非常早期的训练阶段,大多数模型的性能都很差,需要多次迭代来确定模型的真实性能。不过,研究表明,并不是所有的训练样本都这样,仔细选择输入样本可以加快训练速度。Uber 的想法是使用元学习来生成训练样本。与生成对抗网络(GAN)类似,Uber 的 GTN 会训练一个生成器神经网络,为学习者网络生成训练样本。学习者根据真实的测试数据进行评估,生成“元损失”,并用元损失的梯度更新生成器。利用这项技术,Uber 创建了一个生成器,生成用于训练计算机视觉(CV)系统识别MNIST数据集中的数字的样本。CV 系统只需 32 个训练步骤就能达到 98.9%的准确率。Uber 表示,在CIFAR10数据集上的一个类似实验中,他们使用合成数据通过 128 步就可以预测模型性能,而使用真实数据需要 1200 步,速度提高了 9 倍。


论文的共同作者 Jeff Clune 在推特上发了一张由该系统生成的合成图像数据的图片,并将其描述为“另类的、不现实的”。他还说:


在神经结构搜索中,GTN 生成的数据完全可以替代真实数据,这样可以极大地加快任何 NAS 算法的速度。到目前为止,我们只展示了随机搜索-NAS(加上一些花哨的功能),但是我们希望看到其他人尝试下其他更高级的 NAS 方法!


原文链接:


Uber’s Synthetic Training Data Speeds Up Deep Learning by 9x


2020 年 2 月 12 日 09:00940

评论

发布
暂无评论
发现更多内容

架构师训练营 - 第三周作业

咖啡

架构师训练营第一期——第三周总结

tao

第三周课后练习 - 作业 2

致星海

第三周总结

fmouse

极客大学架构师训练营

第三周作业

Kenny

架构师训练营Week03作业

IT老兵重开始

极客大学架构师训练营

【架构师训练营第 1 期 03 周】 学习总结

Bear在挨踢

极客大学架构师训练营

Week 3 作業一 : Design Patterns

Christy LAW

Java 架構師 設計模式 Design Patterns

第三周课后练习 - 作业 1

致星海

Week_03 作业

golangboy

架构师训练营第三周命题作业

一马行千里

极客大学架构师训练营 命题作业

架构师训练营 week3 总结

陈皓07

第二周作业

Kenny

第三周

等燕归

链表转换为二叉排序树、反应式编程 RxSwift和RxCocoa 、区块链hyperledger环境搭建、环境架构、John 易筋 ARTS 打卡 Week 20

John(易筋)

响应式编程 ARTS 打卡计划 hyperledger 链表转为二叉排序树 chmod

第三周学习总结

熊桂平

极客大学架构师训练营

第三周 代码重构 学习笔记

应鹏

学习 极客大学架构师训练营

架构师训练营 - 第 3 周课后作业(1 期)

Pudding

第三周 代码重构 学习总结

应鹏

极客大学架构师训练营

第三周作业

熊桂平

极客大学架构师训练营

Week 3 作业 02

Croesus

设计模式及相关应用案例

garlic

极客大学架构师训练营

架构师训练营第 1 期第三周课后练习题

郑凯元

极客大学架构师训练营

Week 3 學習總結 - Design patterns

Christy LAW

架構師 設計模式 Design Patterns

第三周 学习总结

mm马

极客大学架构师训练营

Singleton Pattern & Composite Pattern

架构训练营 - 第3周课后作业 - 学习总结

Pudding

架构师训练营第一期——第三周作业

tao

第三周总结

积极&丧

极客大学架构师训练营

架构师训练营第 1 期 02 周 作业

Geek_a01290

极客大学架构师训练营

第三周 作业一

mm马

极客大学架构师训练营

Uber的合成训练数据将深度学习的速度提升了9倍-InfoQ