谷歌人工智能部门最近开源了GPipe，这是一个用于快速训练大规模深度学习模型的TensorFlow类库。

深层神经网络（DNN）主要用于解决自然语言处理和视觉目标识别等人工智能任务。以视觉识别为例，该领域的最新方法通常以ImageNet挑战赛的获胜方案为基准。每一届冠军的成绩都优于前一届；当然，模型的复杂度也会相应增加。2014年的冠军GoogLeNet通过使用400万个模型参数达到了74.8%的top-1准确率，而2017年的冠军Squeeze-and-Excitation Networks则使用了1.458亿个参数并达到了82.7%的top-1准确率。

在训练神经网络的时候，模型大小的增加通常会引起问题。为了在合理的时间内完成训练，我们把大部分的计算任务委托给了加速器：诸如GPU和TPU之类的专用硬件。但是这些设备的内存有限，这也就限制了训练模型的大小。我们可以通过一些方法来减少模型对内存的依赖，比如将数据从加速器内存中置换出去，但这会大大减慢训练速度。另一种解决方案则是模型分区，这可以让模型同时在多个加速器中并行执行。对顺序性DNN来说，最好的策略是按层划分模型，然后由不同的加速器来训练不同的层。但是由于DNN的顺序性本质，有些时候可能只有一个加速器在工作，别的加速器则因为需要等待其它层的训练结果而闲置下来。

GPipe通过进一步细化训练任务解决了这个问题，它将批量任务分解为更细小的“微批量”任务，并在每一层中管道化执行这些“微批量”任务。这样，下一层的加速器就可以优先处理上一层已完成的“微批量”任务结果，而不需要等待整个训练过程的结束。

通过使用GPipe以及8个TPUv2（第二代TPU芯片），谷歌研究人员能够用18亿个参数来训练视觉目标识别模型：在使用GPipe的情况下，单个TPUv2可训练的参数量增加了5.6倍。通过此次训练的大规模模型，ImageNet数据验证的准确率达到了84.7%，超过了2017年夺冠时的82.7%。

GPipe的模型分区除了能支持更大的模型以外，它也允许多个加速器并行训练所指定的模型。研究报告称，使用4倍以上的加速器可以达到3.5倍的加速效果。

Gpipe目前是Lingvo框架的一部分，该框架主要用来在TensorFlow中构建顺序神经网络模型。

查看英文原文：Google Open-Sources GPipe Library for Faster Training of Large Deep-Learning Models

创作场景

谷歌开源 GPipe 库，主要用于大规模深度学习模型的快速训练