摘要

近期的深度学习方法表明，频率变换（Frequency Transformation, FT）模块能够显著提升基于频谱图的单源分离模型性能，有效捕捉频率域中的模式特征。本文旨在将FT模块拓展至多源分离任务。为此，我们提出了一种潜在源感知频率变换（Latent Source Attentive Frequency Transformation, LaSAFT）模块，以建模与声源相关的频率模式。同时，我们进一步提出门控逐点卷积调制（Gated Point-wise Convolutional Modulation, GPoCM），作为特征逐维线性调制（Feature-wise Linear Modulation, FiLM）的扩展，用于调节网络内部特征。通过结合上述两种新方法，我们将条件U-Net（Conditioned-U-Net, CUNet）模型拓展至多源分离任务。实验结果表明，所提出的LaSAFT与GPoCM能够有效提升CUNet的性能，在多个MUSDB18多源分离任务中达到了当前最优的信噪比（SDR）表现。