2月5-7日QCon全球软件开发大会携手100+位大咖讲师落定北京,点击查看完整日程>> 了解详情
写点什么

Uber 的合成训练数据将深度学习的速度提升了 9 倍

  • 2020-02-12
  • 本文字数:1073 字

    阅读完需:约 4 分钟

Uber的合成训练数据将深度学习的速度提升了9倍

Uber人工智能实验室开发了一种名为生成式教学网络(GTN)的算法,该算法为神经网络生成合成训练数据,使得神经网络的训练速度比使用真实数据时更快。利用这些合成数据,Uber 将其神经结构搜索(NAS)深度学习优化过程提升了 9 倍。


在 arXiv 上发表的一篇论文中,该团队描述了这个系统和一系列的实验。GTN 的动机来自神经结构搜索(NAS)问题,它训练许多不同的深度学习模型结构,并针对一组测试数据选择表现最好的一个。虽然一种典型的方法是在完整的数据集上通过多次迭代(或 epoch)训练每个模型,但这既耗时又昂贵。不过,模型可以在 GTN 的合成数据上进行训练,耗时更短,并且可以对其在真实训练数据上的真实表现进行估计;这样可以快速地对模型进行评估,缩短了搜索时间。据研究人员称:


GTN-神经结构搜索(GTN-NAS)堪比目前最先进的 NAS 方法,这些方法的表现最好,并且计算量比典型的 NAS 方法少几个数量级。


神经结构搜索是自动机器学习(AutoML)中一个活跃的研究领域。NAS 有一个缺点,它需要训练许多深度学习模型来确定哪个模型表现得最好。该研究主要侧重于高效探索搜索空间,这意味着该系统将训练更少的模型。Uber 的系统生成了一个新数据集,使得每个模型迭代训练的次数更少,这样,系统就可以在相同的时间内试验更多的模型。


通过较少的迭代训练模型存在的问题是,在非常早期的训练阶段,大多数模型的性能都很差,需要多次迭代来确定模型的真实性能。不过,研究表明,并不是所有的训练样本都这样,仔细选择输入样本可以加快训练速度。Uber 的想法是使用元学习来生成训练样本。与生成对抗网络(GAN)类似,Uber 的 GTN 会训练一个生成器神经网络,为学习者网络生成训练样本。学习者根据真实的测试数据进行评估,生成“元损失”,并用元损失的梯度更新生成器。利用这项技术,Uber 创建了一个生成器,生成用于训练计算机视觉(CV)系统识别MNIST数据集中的数字的样本。CV 系统只需 32 个训练步骤就能达到 98.9%的准确率。Uber 表示,在CIFAR10数据集上的一个类似实验中,他们使用合成数据通过 128 步就可以预测模型性能,而使用真实数据需要 1200 步,速度提高了 9 倍。


论文的共同作者 Jeff Clune 在推特上发了一张由该系统生成的合成图像数据的图片,并将其描述为“另类的、不现实的”。他还说:


在神经结构搜索中,GTN 生成的数据完全可以替代真实数据,这样可以极大地加快任何 NAS 算法的速度。到目前为止,我们只展示了随机搜索-NAS(加上一些花哨的功能),但是我们希望看到其他人尝试下其他更高级的 NAS 方法!


原文链接:


Uber’s Synthetic Training Data Speeds Up Deep Learning by 9x


2020-02-12 09:001521

评论

发布
暂无评论
发现更多内容

第二周 作业

chinsun1

架构师训练营WEEK2作业

班戟鱼

第二周作业 - 命题作业

molly

极客大学架构师训练营

【第二周】命题作业——软件设计原则

三尾鱼

面向对象 极客大学架构师训练营

第二周作业

仪轩

架构师训练营第二周作业

aoeiuvzcs

第2周 学习总结

sunpengjian

第二周作业

孙强

架构师课程第二周总结

dongge

Week001总结作业

徐培

<<架构师训练营>> 第二周学习总结

R20114

极客时间第 0 期架构师训练营第二周作业

2流程序员

解决 Jenkins 中使用代理来执行 npm install 的问题

jerry.mei

Docker DevOps 运维 jenkins

设计模式与设计原则(第二周总结)

麻辣

第二周 软件设计原则 小结

chinsun1

架构师训练营丨第二周丨学习总结

Frode

极客大学架构师训练营

Week02总结

leis

第二课学习总结

lwyanhao

第二周总结:设计原则

远方

架构师训练营-作业2

Jemmy

接口隔离原则优化 Cache 类设计

leis

架构师训练营第 02周—— 练习

李伟

极客大学架构师训练营

架构师训练营-Week 02 命题作业

华乐彬

极客大学架构师训练营 设计原则

第二课作业

lwyanhao

架构师训练营 No.2 周总结

连增申

[笔记]Reportlab生成PDF(表格)

森蓝Senlan

Python PDF

架构师训练营总结 -2

River Tree

架构 总结 软件设计原则

Week2学习总结

丿淡忘

极客大学架构师训练营

面向对象设计的基本原则 --周总结

独孤魂

作业

第二周作业

田振宇

课堂作业week2

Dennis

Uber的合成训练数据将深度学习的速度提升了9倍_AI_Anthony Alford_InfoQ精选文章