摘要

基于Transformer的模型在单通道语音分离任务中取得了显著的性能提升。然而，与近期提出的一个理论上限相比，仍存在一定的性能差距。当前双路径Transformer模型的主要局限在于对长距离元素间交互关系以及局部特征模式的建模效率较低。为此，本文提出了一种门控单头Transformer架构，结合卷积增强的联合自注意力机制，命名为 MossFormer（Monaural speech separation TransFormer）。为有效解决双路径架构中跨块元素间间接交互的问题，MossFormer采用了一种联合局部与全局自注意力机制，能够同时在局部块上执行完整的自注意力计算，并在全序列上以线性化、低计算成本的方式执行自注意力操作。该联合注意力机制使MossFormer能够直接实现全序列元素间的交互。此外，我们引入了一种强大的注意力门控机制，并结合简化的单头自注意力结构，进一步增强了模型的表达能力。除了高效的长距离建模外，我们还通过引入卷积操作，增强了模型对位置相关的局部模式的建模能力。实验结果表明，MossFormer显著优于以往模型，在WSJ0-2mix、WSJ0-3mix、WHAM!和WHAMR!等基准测试上均取得了当前最优性能。在WSJ0-3mix数据集上，MossFormer达到了21.2 dB的SI-SDRi理论上限；在WSJ0-2mix数据集上，其性能仅比理论上限23.1 dB低0.3 dB，接近理论极限。