摘要

重叠语音说话人分离传统上被视为一个多标签分类问题。本文通过将多个二值标签编码为一个单一标签（利用幂集表示目标说话人可能的组合），将该任务重新表述为单标签预测问题。这一新范式具有两大优势：其一，目标说话人的重叠关系得以显式建模；其二，不再需要进行阈值选择。基于此建模方式，本文提出了一种语音嵌入感知的神经说话人分离框架（Speaker Embedding-aware Neural Diarization, SEND），该框架联合优化语音编码器、说话人编码器、两个相似度评分器以及后处理网络，根据语音特征与说话人嵌入之间的相似性来预测编码后的标签。实验结果表明，SEND具有稳定的训练过程，能够在高度重叠的数据上直接训练而无需额外的初始化。更重要的是，该方法在真实会议场景中实现了当前最优的性能表现，同时模型参数更少、计算复杂度更低。