摘要

本文提出了一种用于序列到序列任务的新型 Token-and-Duration Transducer（TDT）架构。TDT 在传统 RNN-Transducer 架构的基础上进行了扩展，能够联合预测输出的 token 及其持续时间（即该 token 所对应覆盖的输入帧数）。这一能力通过一个具有两个输出的联合网络实现，两个输出分别独立归一化，以生成 token 和持续时间的概率分布。在推理阶段，TDT 模型可根据预测的持续时间输出跳过部分输入帧，从而显著提升推理速度，相较传统 Transducer 逐帧处理编码器输出的方式具有明显优势。在多种序列转换任务中，TDT 模型在保持更高准确率的同时，实现了显著更快的推理速度。在语音识别任务中，TDT 模型相较传统 Transducer 实现了更高的准确率，并将推理速度提升最高达 2.82 倍；在语音翻译任务中，TDT 模型在 MUST-C 测试集上相较传统 Transducer 实现了超过 1 个 BLEU 的绝对性能提升，且推理速度提升达 2.27 倍；在语音意图识别与槽位填充任务中，TDT 模型的意图识别准确率相较传统 Transducer 最高提升超过 1%（绝对值），同时运行速度最快可提升 1.28 倍。我们已将 TDT 模型的实现代码开源，集成于 NeMo 工具包（https://github.com/NVIDIA/NeMo）中。