正式定档!QCon 北京站改期为2024年4月11-13日,地点:北京·国测国际会议会展中心 >>> 了解详情
写点什么

Uber 的合成训练数据将深度学习的速度提升了 9 倍

  • 2020-02-12
  • 本文字数:1073 字

    阅读完需:约 4 分钟

Uber的合成训练数据将深度学习的速度提升了9倍

Uber人工智能实验室开发了一种名为生成式教学网络(GTN)的算法,该算法为神经网络生成合成训练数据,使得神经网络的训练速度比使用真实数据时更快。利用这些合成数据,Uber 将其神经结构搜索(NAS)深度学习优化过程提升了 9 倍。


在 arXiv 上发表的一篇论文中,该团队描述了这个系统和一系列的实验。GTN 的动机来自神经结构搜索(NAS)问题,它训练许多不同的深度学习模型结构,并针对一组测试数据选择表现最好的一个。虽然一种典型的方法是在完整的数据集上通过多次迭代(或 epoch)训练每个模型,但这既耗时又昂贵。不过,模型可以在 GTN 的合成数据上进行训练,耗时更短,并且可以对其在真实训练数据上的真实表现进行估计;这样可以快速地对模型进行评估,缩短了搜索时间。据研究人员称:


GTN-神经结构搜索(GTN-NAS)堪比目前最先进的 NAS 方法,这些方法的表现最好,并且计算量比典型的 NAS 方法少几个数量级。


神经结构搜索是自动机器学习(AutoML)中一个活跃的研究领域。NAS 有一个缺点,它需要训练许多深度学习模型来确定哪个模型表现得最好。该研究主要侧重于高效探索搜索空间,这意味着该系统将训练更少的模型。Uber 的系统生成了一个新数据集,使得每个模型迭代训练的次数更少,这样,系统就可以在相同的时间内试验更多的模型。


通过较少的迭代训练模型存在的问题是,在非常早期的训练阶段,大多数模型的性能都很差,需要多次迭代来确定模型的真实性能。不过,研究表明,并不是所有的训练样本都这样,仔细选择输入样本可以加快训练速度。Uber 的想法是使用元学习来生成训练样本。与生成对抗网络(GAN)类似,Uber 的 GTN 会训练一个生成器神经网络,为学习者网络生成训练样本。学习者根据真实的测试数据进行评估,生成“元损失”,并用元损失的梯度更新生成器。利用这项技术,Uber 创建了一个生成器,生成用于训练计算机视觉(CV)系统识别MNIST数据集中的数字的样本。CV 系统只需 32 个训练步骤就能达到 98.9%的准确率。Uber 表示,在CIFAR10数据集上的一个类似实验中,他们使用合成数据通过 128 步就可以预测模型性能,而使用真实数据需要 1200 步,速度提高了 9 倍。


论文的共同作者 Jeff Clune 在推特上发了一张由该系统生成的合成图像数据的图片,并将其描述为“另类的、不现实的”。他还说:


在神经结构搜索中,GTN 生成的数据完全可以替代真实数据,这样可以极大地加快任何 NAS 算法的速度。到目前为止,我们只展示了随机搜索-NAS(加上一些花哨的功能),但是我们希望看到其他人尝试下其他更高级的 NAS 方法!


原文链接:


Uber’s Synthetic Training Data Speeds Up Deep Learning by 9x


2020-02-12 09:002405

评论

发布
暂无评论
发现更多内容

在可观测性的启蒙与初试探--快速实现根因分析/业务大盘

Yestodorrow

架构 监控 可观测性

佛萨奇2.0系统开发解析逻辑教程方案(成熟技术)

I8O28578624

小令动态丨令牌云2022年度盘点

令牌云数字身份

盘点2022

如何打造一支有战斗力的团队?

石云升

极客时间 1月月更 技术领导力实战笔记

复习前端:JavaScript 字符串操作方法

devpoint

JavaScript 前端开发 字符串处理

【译】5 Different Ways to Create Objects in Java

lambochen

大数据培训课程哪家比较好

小谷哥

web前端培训课程怎么选择

小谷哥

浅谈区块链项目开发技术(Solidity成熟语言)

I8O28578624

参加前端培训班哪个好

小谷哥

C++命名空间:别再因为命名冲突而烦恼了。

子夜的星

c++ 命名空间 C++基础

Java踩坑之三目运算符类型转换

lambochen

C++缺省参数:学习成为一名优秀的舔狗

子夜的星

c++ 缺省参数 编程语言、 基础语法

北京有哪些java培训中心

小谷哥

大公司为什么禁止SpringBoot项目使用Tomcat?

程序员大彬

Java springboot

Mockito 助你实现真正的单元测试

lambochen

小令动态丨令牌云获中国金融科技·最佳新锐企业奖

令牌云数字身份

创新大赛 金融科技创新

IM通讯协议专题学习(八):金蝶随手记团队的Protobuf应用实践(原理篇)

JackJiang

网络编程 即时通讯 protobuf im开发

浅谈 Java 多版本发布

lambochen

Redis缓存的主要异常及解决方案

京东科技开发者

数据库 缓存 缓存击穿 Redis 数据结构 企业号 1 月 PK 榜

NFT元宇宙链游游戏项目系统开发技术解析(Demo)

I8O28578624

100万条数据解读2023银行APP用户体验升级方向

易观分析

金融 手机银行

不过是享受了互联网的十年红利期而已。

why技术

Java 程序员 大学生

CleanMyMac4.12.4最新版本有哪些新功能?

茶色酒

CleanMyMac CleanMyMac X2023

什么是NFT链游项目游戏系统开发技术(Demo)采用Solidity 智能合约系统开发方案

I8O28578624

基于 std::variant 的运行时多态

SkyFire

c++ 多态

一个小故事带你了解 Spring IoC

lambochen

Pipy 0.90.0 发布

Flomesh

多线程并发 Pipy 流量管理

MySQL 主从备份实践

lambochen

编译期多态

SkyFire

c++ 多态

高效学 C++|继承与组合

TiAmo

c++ 编程语言 继承

Uber的合成训练数据将深度学习的速度提升了9倍_AI&大模型_Anthony Alford_InfoQ精选文章