摘要

在语音分离中，时域方法已经成功地取代了时频域，通过可学习编码器提取潜在序列特征。传统上，这些特征在网络的最后阶段被分离为特定说话者的特征。相反，我们提出了一种更为直观的策略，在早期阶段通过扩展特征序列以说话者数量作为额外维度来分离特征。为了实现这一目标，我们介绍了一种非对称策略，其中编码器和解码器被划分为在分离任务中执行不同的处理。编码器分析特征，并将其输出分割为待分离的说话者数量。然后，共享权重的解码器重建这些分离的序列，并进行跨说话者处理。无需依赖说话者信息，解码器中的共享权重网络直接通过分离目标学习区分特征。此外，为了提高性能，传统方法延长了序列长度，导致双路径模型的采用，该模型通过将长序列分段有效地处理了更长的序列。针对这一点，我们引入了全局和局部Transformer块，它们可以更高效地直接处理长序列而无需分段和双路径处理。实验结果表明，这种非对称结构是有效的，并且所提出的全局和局部Transformer组合足以替代双路径结构中的跨块和块内处理作用。最终，结合这两种方法的模型在多个基准数据集上实现了最先进的性能，并且计算量大大减少。