明略科技 Blockformer 语音识别模型在 AISHELL-1 测试集上取得 SOTA 结果

深度学习已成功应用于语音识别，各种神经网络被大家广泛研究和探索，例如，深度神经网络（Deep Neural Network，DNN）、卷积神经网络（Convolutional Neural Network，CNN）、循环神经网络（Recurrent Neural Network，RNN）和端到端的神经网络模型。

目前，主要有三种端到端的模型框架：神经网络传感器（Neural Transducer，NT），基于注意力的编码器-解码器（Attention-based Encoder Decoder，AED）和连接时序分类（Connectionist Temporal Classification，CTC）。

NT 是 CTC 的增强版本，引入了预测网络模块，可类比传统语音识别框架中的语言模型，解码器需要把先前预测的历史作为上下文输入。NT 训练不稳定，需要更多内存，这可能会限制训练速度。

AED 由编码器，解码器和注意力机制模块组成，前者对声学特征进行编码，解码器生成句子，注意力机制用来对齐编码器输入特征和解码状态。业内不少 ASR 系统架构基于 AED。然而，AED 模型逐个单元输出，其中每个单元既取决于先前生成的结果，又依赖后续的上下文，这会导致识别延迟。

另外，在实际的语音识别任务中，AED 的注意力机制的对齐效果，有时也会被噪声破坏。

CTC 的解码速度比 AED 快，但是由于输出单元之间的条件独立性和缺乏语言模型的约束，其识别率有提升空间。

目前有一些关于融合 AED 和 CTC 两种框架的研究，基于编码器共享的多任务学习，使用 CTC 和 AED 目标同时训练。在模型结构上，Transformer 已经在机器翻译，语音识别，和计算机视觉领域显示了极大的优势。

明略科技的语音技术负责人朱会峰介绍，明略团队重点研究了在 CTC 和 AED 融合训练框架下，如何使用 Transformer 模型来提高识别效果。

明略团队通过可视化分析了不同 BLOCK 和 HEAD 之间的注意力信息，这些信息的多样性是非常有帮助的，编码器和解码器中每个 BLOCK 的输出信息并不完全包含，也可能是互补的。（https://doi.org/10.48550/arXiv.2207.11697）

基于这种观察，明略团队提出了一种模型结构，Block-augmented Transformer （BlockFormer），研究了如何以参数化的方式互补融合每个块的基本信息，实现了 Weighted Sum of the Blocks Output（Base-WSBO）和 Squeeze-and-Excitation module to WSBO（SE-WSBO）两种 block 集成方法。

Blockfomer with Base-WSBO

SE-WSBO

实验证明，Blockformer 模型在中文普通话测试集（AISHELL-1）上，不使用语言模型的情况下实现了 4.35%的 CER，使用语言模型时达到了 4.10%的 CER。

AISHELL-1 是希尔贝壳开源的中文普通话语音数据库，录音时长 178 小时，由 400 名中国不同地域说话人进行录制。Papers with Code网站显示，Blockformer 在 AISHELL-1 上取得 SOTA 的识别效果，字错率降低到 4.10%（使用语言模型时）：https://paperswithcode.com/sota/speech-recognition-on-aishell-1

明略科技集团 CTO郝杰表示，明略的会话智能产品针对基于线上企微会话和线下门店会话的销售场景，语音识别团队聚焦美妆、汽车、教育等行业的场景优化和定制训练，但也不放松对通用语音识别新框架、新模型的探索，Blockformer 模型的这个 SOTA 效果为语音识别的定制优化提供了一个高起点。