摘要

本文研究非自回归自动语音识别（non-autoregressive automatic speech recognition）。为此，提出了一种单模态聚合（Unimodal Aggregation, UMA）方法，用于对属于同一文本词元（text token）的特征帧进行分割与整合，从而学习更优的文本词元特征表示。该方法中，帧级特征与权重均来源于编码器，随后利用单模态权重对特征帧进行聚合，并送入解码器进行进一步处理。训练过程中采用连接时序分类（Connectionist Temporal Classification, CTC）损失函数。相较于传统CTC方法，所提方法能够学习到更优的特征表示，并有效缩短序列长度，从而在降低识别错误率的同时减少计算复杂度。在三个普通话数据集上的实验结果表明，UMA在性能上优于或至少可媲美其他先进的非自回归方法，如自条件CTC（self-conditioned CTC）。此外，将自条件CTC机制引入所提出的框架后，系统性能可进一步显著提升。