Uber 提出生成式教学网络 GTN,9 倍加速神经网络架构搜索

阅读数:2 2019 年 12 月 21 日 08:30

Uber提出生成式教学网络GTN,9倍加速神经网络架构搜索

近期,Uber 的研究人员在一篇名为《 Neural Architecture Search by Learning 》的论文中提出了一种专用 GAN——Generative Teaching Network (GTN) ,它可以生成数据和训练环境,让模型在接受目标任务测试之前先进行一些 SGD 步骤训练,而使用 GTN 再合成数据训练的神经网络比利用真实数据训练得更快。论文还表示,在利用 GTN-NAS 搜索新的神经网络架构时,速度比使用实际数据快 9 倍,而且使用的计算量比典型 NAS 方法少几个数量级

生成对抗网络(英语:Generative Adversarial Network,简称 GAN)是非监督式学习的一种方法,通过让两个神经网络相互博弈的方式进行学习。

GTN,一种深度学习网络

Generative Teaching Network,生成式教学网络,简称 GTN,是 Uber 在近期的一篇论文中提出的深度神经网络,它可以自动生成综合训练数据,较一般利用真实数据训练的方法,能够实现 9 倍加速的神经体系结构搜索。在理论上,GTN 可以生成任何类型的数据或训练环境,并用于监督学习、无监督学习和强化学习,这是一种通用方法。

GTN 就像生成对抗网络(GAN)中的生成器一样,它生成完全人工的数据,供少数学习步骤使用。之后,GTN 会通过识别经典 MNIST 数据集中手写图像的方式对初始化神经网络进行评估,从而提供正在优化的元损失目标。然后,通过元梯度在整个学习过程中进行区分更新 GTN 参数以提高目标任务的性能。

Uber提出生成式教学网络GTN,9倍加速神经网络架构搜索

GTN 可以自由创建不真实的数据,从而可以比真实数据更快地学习。例如,GTN 可以将有关许多不同类型对象的信息组合在一起,或者主要将训练重点放在最难的示例上。

为验证 GTN,Uber 的研究人员还利用 GTN 合成的数据在神经网络架构搜索(NAS)中进行实验,并在 CIFAR-10 数据集中进行了测试,结果显示 GTN 对 NAS 所产生的最佳架构有显著改进。

神经网络架构指的某些设计的选择,例如神经网络应具有的层数,每层应有多少个神经元,哪些层应连接到哪一层等。

GTN-NAS,将 GTN 合成数据用于 NAS

为了搜索神经网络架构,Uber 研究人员采用了许多论文 的思想,寻找一个小的神经网络模块,然后通过预设的蓝图将其重复组合,以创建各种大小的神经网络架构。一旦发现了高质量的模块,就可以使用它创建一个更大的网络,然后对它进行训练并与实际数据融合,以实现目标任务的收敛。

在 GTN-NAS 中,最终目标是找到一种性能最佳的神经网络架构。而通过实验,Uber 研究人员发现 GTN 生成的数据可以预测出神经网络架构的真实性能(对于 GTN 估计的前 50%神经网络架构,其 Spearman 等级相关系数为 0.56)。例如,根据 GTN 的快速估算,排名前 10%的神经网络架构都具有较高的性能(见下图蓝色方块)。这就意味着研究人员可以使用 GTN 生成的数据,快速评估多种神经网络架构,进而识别出一些优质的架构,将其放在真实数据集上训练之后,就能够较为容易的找出在目标任务上具有高性能的神经网络。

另外,在整个实验过程中,Uber 的研究人员还发现如果想要得到与 GTN 生成数据执行 128 个 SGD 步骤相同的结果,则需要对真实数据执行 1200 个 SGD 步骤,换句话说,使用 GTN 生成的数据比使用真实数据进行神经网络架构搜索快 9 倍

NAS 需要大量的计算资源,它在完整的数据集上训练,直到所产生神经网络的性能不再提高,再选出性能最佳的神经网络,但这种重复执行的过程往往非常昂贵和缓慢。

Uber提出生成式教学网络GTN,9倍加速神经网络架构搜索

写在后面

在机器学习中,标记数据的重要性不言而喻,但生成此类数据既耗时又昂贵。Uber 的 GTN 提供了一种新的选项,它可以学习自动生成数据,使新的神经网络快速学习任务;而且通过 GTN,研究人员不仅能够快速评估新神经网络架构的学习潜力,还能很好地探索新的、性能更佳的神经网络架构。

评论

发布