摘要

本文从训练目标的获取方式出发，为自监督语音模型提供了新的研究视角。我们将目标提取器泛化为离线目标提取器（Offline Targets Extractor, Off-TE）与在线目标提取器（Online Targets Extractor, On-TE）。基于此，我们提出了一种新的多任务学习框架——MT4SSL（通过融合多种目标提升自监督语音表征学习，Boosting Self-Supervised Speech Representation Learning by Integrating Multiple Targets）。MT4SSL分别采用K-means算法作为Off-TE，以及一个无梯度更新的教师网络作为On-TE。在LibriSpeech基准测试上，我们的模型显著优于以往的自监督学习方法，且在数据量较少的情况下，性能可与当前最优模型相媲美，甚至更优。此外，我们发现同时使用Off-TE与On-TE能够显著提升预训练阶段的收敛性。综合其高效性与有效性，我们认为从这一视角开展自监督语音模型的多任务学习，是一种极具前景的发展方向。