自动语音识别（ASR）是一种将音频输入转换成文本的技术，目前基于深度学习的ASR系统往往面临数据量不足的挑战。Google Brain团队最新推出的SpecAugment，是一种简单的ASR数据增强方法。该方法从视觉角度出发，对音频频谱图进行数据增强。该方法简单、计算量小，且不需要额外的数据，并且能有效提高ASR网络的表现性能，在LibriSpeech 960h测试集上达到了5.8%的字错误率（结合语言模型），Switchboard 300h测试集上达到了6.8%的字错误率（结合语言模型），均达到了目前最先进的表现水平。本文是AI前线第77篇论文导读。

介绍

自动语音识别（ASR）是一种将音频输入转换成文本的技术，深度神经网络的发展推动了ASR的进步。ASR在许多现代设备和产品中都有应用，如谷歌助手、谷歌主页和YouTube。目前ASR的主流研究方向依然是设计更好的ASR网络结构。然而传统的ASR模型包含许多参数，当训练集的数量不足或不够全面时，模型往往会过度拟合训练数据，从而难以泛化到新数据上。

在图像分类领域，缺乏足够数量的训练数据时，可以通过数据增强来增加数据的有效数量，能够显著提高深度神经网络的性能。在语音识别中，数据增强方法通常指以某种方式对训练的音频波形进行变形（例如加速或减速），或添加背景噪声。这种方法能够有效地扩大数据集，因为在训练过程中，单个输入的多个增强版本也被输入到网络中。并且驱使网络学习相关特征，让网络变得更鲁棒。然而，现有的传统方法在增强音频数据的同时也带来了额外的计算成本，有时甚至还需要额外的数据。

在Google Brain团队最新的论文《SpecAugment：一种简单的语音自动识别数据增强方法》中，作者采用一种新的方法来增强音频数据，即将其视为视觉问题而不是音频问题。与传统的方法中增加输入音频波形不同的是，SpecAugment直接将增强策略应用于音频频谱图（即波形的图像表示）。该方法简单、计算量小，且不需要额外的数据。并且该方法能有效提高ASR网络的性能，在ASR任务LibriSpeech 960h和Switchboard 300h数据集上达到了目前最先进的表现性能。

SpecAugment

在传统的ASR中，音频波形通常被编码为视觉表示，例如频谱图（spectrogram），然后作为网络的输入训练数据。训练数据的增强通常在波形音频转换成频谱图之前，因此在每次迭代之后，都需要生成新的频谱图。在新方法中，作者研究了增强频谱图本身的方法，而不是增强波形数据。由于该增强直接应用于网络的输入特征，因此可以在训练期间在线运行，而不会对训练速度造成严重影响。

图1 在输入网络之前，音频波形往往先转化成视觉表示（log梅尔谱图）。

作者的目标是设计一种能直接作用于log梅尔谱图的数据增强策略，帮助网络学习到有用的特征。这些特征需要对时间方向上的变形、频率信息的部分损失以及语音片段的部分损失鲁棒，因此我们选择以下三种变形来组成SpecAugment：

1. 时间变形，通过tensorflow的sparse_image_warp函数实现。给定一个时间步长为τ的对数梅尔谱图，我们将其视为一张图像，时间轴为水平维度，频率轴为垂直维度。对于时间步长为（W，τ-W）的图像，穿过图像中心水平线的某个随机点经变形后，处在其左或其右距离为w的位置，w是从[0，W]的均匀分布中选择的数字。W为时间变形参数。

2. 频率掩膜（Frequency masking），对f个连续的梅尔频率通道[f，f0+f) 应用掩膜，f是从[0, F]均匀分布中选择得到，F为频率掩膜参数，f0从[0, v-f)中选择得到，v代表梅尔频率通道的数量。

3. 时间掩膜（Time masking），对t个连续的时间步长[t0, t0+t)应用掩膜，t从[0, T]的均匀分布中选择的数字，T为时间掩膜参数，t0从[0, τ-f)中选择。

图2给出了增强策略的示意图：

图2 通过时间方向上的变形、连续时间步长（垂直方向）和梅尔频率通道（水平方向）的mask分块，对log梅尔频谱进行增强。频谱中被mask的部分显示为紫色。

图3 给出了对单独输入进行单独增强的示意图：

图3 从上到下分别为未经增强的基本输入的对数梅尔频谱图，以及经过时间变形、频率掩膜和时间掩膜增强后的对数梅尔频谱图。

当增强策略包含多个频率和时间mask时，多个mask可能会互相覆盖。因此，作者考虑了一些手动增强的策略：LibriSpeech basic (LB)，LibriSpeech double (LD)，Switchboard mild (SM)和Switchboard strong (SS)，参数总结如表1：

表1 增强策略的参数。mF和mT表示频率mask和时间mask的数量。

图4给出了一个使用LB和LD增强的对数梅尔谱图示例：

图4 从上到下分别为：基础输入、LB增强和LD增强的对数梅尔谱图。

测试模型

1. LAS网络模型

作者使用Listen, Attend and Spell (LAS)网络作为ASR任务的模型，记为LAS-d-w。输入的对数梅尔谱图经过2层卷积网络，得到的输出经过有d个堆栈的双向LSTM编码器，LSTM单元大小为w，产生注意力矢量（attention vector）。随后，注意力矢量输入2层RNN解码器，单元维度为w，生成文本的词块（token）。通过单词量为16k的LibriSpeech和1k的Switchboard数据集，采用Word Piece Model（WPM）对文本进行词块化。LibriSpeech 960h的WPM用训练集的文本构建，Switchboard 300h的WPM由训练文本和Fisher语料库中的文本构建。最终的文本通过束搜索得到。

2. 学习率策略

学习率是决定ASR网络表现的一个重要因素。论文中研究学习率策略有两个目标，一是验证较长的策略有助于提升网络最终的表现，二是引入非常长的学习率策略，能够最大化网络的表现性能。

在实验中，学习率策略包括提升、保持和指数衰减三个阶段。这三个阶段由三个时间节点定义（sr，si，sf）。除此之外，实验中还有另外两个参数控制时间尺度。第一个是在节点snoise处打开变分加权噪声，第二个是均匀标签平滑。标签平滑在学习率较小时会影响网络的稳定性，因此只在训练开始时加入标签平滑，在学习率开始衰减时取消该操作。

文中使用的两个基本策略如下：

1. B(asic): (sr, snoise, si, sf)=(0.5k, 10k, 20k, 80k)

2. D(ouble): (sr, snoise, si, sf)=(1k, 20k, 40k, 160k)

可以通过使用更长的训练策略提升训练网络的表现：

3. L(ong): (sr, snoise, si, sf)=(1k, 20k, 140k, 320k)

3. 与语言模型的浅聚合

尽管通过数据增强，网络可以取得最好的表现性能，但是可以利用语言模型进一步提升网络的表现。作者通过浅聚合将一个RNN语言模型整合入两个任务中。在浅聚合中，解码过程中的“下一词块(token)” y*由下式得到：

即使用基础ASR模型和语言模型对词块进行联合打分。

实验结果

1. LibriSpeech 960h

为了测试SpecAugment的增强效果，作者在LibriSpeech数据集上进行了实验。作者采用了三种Listen, Attend and Spell (LAS)网络作为ASR任务的模型：LAS-4-1024、LAS-6-1024和LAS-6-1280，利用增强策略（无、LB、LD）和训练策略（B/D）的组合在LibriSpeech 960h数据集上训练。

ASR网络的表现由网络生成的文本和目标文本之间的字错误率（Word Error Rate，WER）衡量。网络的所有参数都保持一致，只有输入网络的数据有所改变。表2给出了在test-clean和test-other（含噪声）测试集上的测试结果。实验表明，SpecAugment持续提升了网络表现性能，并且数据增强的程度越高时，较大的模型和较长的学习率策略的好处越明显。

表2 不同网络、训练策略、增强策略在LibriSpeech测试集上的字错误率

图5 网络在LibriSpeech测试集的表现性能对比图，蓝色为经过增强的数据输入，黄色为未经过增强的数据输入。LibriSpeech测试集包含两部分，test-clean和test-other，后者的音频数据包含更多的噪声。作者采用最大的网络LAS-6-1280、学习率策略L和增强策略LD来训练网络，最大化网络的表现性能。即使没有语言模型，LAS-6-1280也能达到最先进的表现。并且可以采用浅聚合加入语言模型，进一步提升表现。实验结果如表3所示：

表3 LibriSpeech 960h字错误率

2. Switchboard 300h

在该数据集上，作者采用LAS-4-1024网络结构，增强策略分别为无、SM、SS和学习率策略B。表4给出了采用不同的数据增强策略、有无标签平滑的网络在Switchboard 300h数据集上的实验结果。从表4中可以看出标签平滑和数据增强在该语料库上具有额外的效果。

表4 Switchboard 300h字错误率，不使用语言模型。同样，采用网络LAS-6-1280、学习率策略L来最大化模型性能。在这种设置下，在整个训练过程中均采用标签平滑有助于网络最后的表现，同时加入了在Fisher- Switchboard语料库上训练的语言模型。表5给出了实验结果对比：

表5 Switchboard 300h字错误率

3.最优结果

通过增加网络大小、训练时间，该数据增强方法可以在LibriSpeech 960h和Switchboard 300h上取得目前最好的效果：

表6 LibriSpeech 960h和Switchboard 300h任务上之前SOTA（state-of-the-art）的字错误率对比

该数据增强方案虽然方法简单，但是效果很强大，能够提高端到端LAS网络的性能，让它超越经典的ASR模型。

图6 不同类型的网络在LibriSpeech 960h和Switchboard 300h任务上的表现。

讨论

1.时间变形有用，但不是提升表现的主要原因

表7给出了分别去除时间变形、时间掩膜和频率掩膜情况下的训练结果。时间变形的效果虽然小，但还是有的。因此在计算成本受限的情况下，时间变形作为影响最小，但成本最高的策略，应该首先被丢弃。

表7 不同增强策略在测试集上的字错误率对比

2.数据增强使过拟合问题转化为欠拟合问题

SpecAugment通过故意提供损坏的数据来防止网络过拟合。下图展示了网络在训练集和测试集的WER是如何随训练过程变化的。

图7 网络经过数据增强和未经数据增强在训练、test-clean、test-other数据集上的表现对比

可以看出，如果不进行数据增强，网络在训练集上的性能近乎完美，而在test-clean和test-other的测试集上的性能则会大打折扣。另一方面，经过数据扩充，网络很难在训练集上取得完美表现，但是在test-clean数据集上表现得更好，并且在test-other数据集上取得了与之相当的表现。这表明网络不再过度拟合训练数据，提高训练性能将带来更好的测试性能。

3.常用的欠拟合问题解决方法可以提升网络性能

解决欠拟合有两个标准方法：更大的网络和更长的训练时间，从而在表现性能上取得显著的进步。当前给出的实验结果是通过不断应用增强策略获得的，然后可以建立更宽、更深的网络，并用更长的学习率策略对其进行训练，以解决欠拟合的问题。

4.语言模型

语言模型（Language Model，LM）通过利用从文本中学习到的信息，对提升ASR网络的表现性能起到重要作用。然而语言模型往往需要独立训练，并且占用内存很大，因此难以将其应用到小的设备上，如智能手机。但在研究中，作者发现了一项意料之外的结果：使用SpecAugment增强数据训练的模型在没有语言模型的帮助下，也能超越其他模型的表现。因此，尽管LM对网络有所助益，该研究结果预示了在实际应用中去掉语言模型，独立训练ASR网络的可能性。

图8 包含语言模型和不包含语言模型的字错误率对比。即使没有语言模型，SpecAugment的表现也达到了最佳水平。

结论

本文介绍了SpecAugment，一种简单的用于语音识别（ASR）的数据增强方法。SpecAugment大大提高了ASR网络的性能。通过使用简单的手工策略增加训练集，即使没有语言模型的帮助，也能够让端到端的LAS网络在LibriSpeech 960h和SwitchBoard 300h任务上获得最佳表现性能。SpecAugment将ASR从过拟合转换为欠拟合问题，可以通过使用更大的网络和更长的学习率策略来提升性能。过去，ASR的大部分研究都集中在寻找更好的网络结构。但该的研究结果表明，寻找更好的训练网络的方法不失为一个有前景的研究方向。

查看Google AI Blog：SpecAugment: A New Data Augmentation Method for Automatic Speech Recognition

查看论文原文：SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition

更多内容，请关注AI前线公众号

创作场景

性能超越经典 ASR 模型：谷歌重磅推出全新语音识别数据增强方法