摘要

时频（TF）域双路径模型实现了高保真语音分离。尽管一些先前的最先进（SoTA）模型依赖于递归神经网络（RNNs），但这种依赖意味着它们缺乏Transformer块的并行性、可扩展性和灵活性。鉴于纯基于Transformer的架构在其他领域的广泛应用和成功，本研究专注于从TF域双路径模型中移除RNN，同时保持最先进性能。本文提出了一种基于Transformer的模型——TF-Locoformer，该模型通过卷积实现局部建模（LOcal-modeling by COnvolution）。该模型使用带有卷积层的前馈网络（FFNs），而不是线性层，来捕捉局部信息，从而使自注意力机制能够专注于捕捉全局模式。我们在自注意力机制之前和之后各放置了两个这样的FFN，以增强局部建模能力。我们还为TF域双路径模型引入了一种新的归一化方法。实验结果表明，在多个分离和增强数据集上，所提出的模型在无RNN架构下达到了或超过了最先进水平。