摘要

自监督学习（SSL）已成为学习音频表示的一种流行方法。音频自监督预训练的一个目标是将知识迁移到下游音频任务中，这些任务通常包括片段级任务和帧级任务。尽管帧级任务对于细粒度的声学场景/事件理解至关重要，但以往的研究主要集中在片段级下游任务的评估上。为了同时应对片段级和帧级任务，本文提出了音频教师-学生变换器（ATST），其中包括片段级版本（命名为ATST-Clip）和帧级版本（命名为ATST-Frame），分别负责学习片段级和帧级表示。这两种方法均采用了Transformer编码器和教师-学生训练方案。我们精心设计了ATST-Clip和ATST-Frame的视图创建策略。具体而言，ATST-Clip使用分段数据增强，而ATST-Frame则结合了帧级数据增强和掩码技术。实验结果表明，我们的ATST-Frame模型在大多数片段级和帧级下游任务中取得了最先进的（SOTA）性能。特别是在帧级声音事件检测任务上，其表现远超其他模型。此外，通过知识蒸馏将两个模型结合起来可以进一步提升性能。我们的代码已在线提供。