摘要

音乐分类一直是音乐信息检索领域的热门任务之一。随着深度学习模型的发展，过去十年在各种分类任务中取得了显著的进步。然而，模型复杂性的不断增加使得训练和推理过程在计算上变得非常昂贵。本文结合了迁移学习和基于特征的知识蒸馏的思想，系统地研究了使用预训练音频嵌入作为教师来指导低复杂度学生网络的训练。通过利用预训练嵌入对学生的特征空间进行正则化，可以将教师嵌入中的知识转移到学生网络中。我们使用了多种预训练音频嵌入，并测试了该方法在乐器分类和音乐自动标注任务中的有效性。结果显示，与未使用教师知识的相同模型相比，我们的方法显著提高了结果。此外，该技术还可以与经典的知识蒸馏方法结合，进一步提升模型性能。