摘要

近期的研究进展表明，相较于单模态方法，多模态训练具有显著优势。然而，在本工作中，我们发现仅通过单一模态的不同格式进行训练，同样能够获得相当的性能提升。具体而言，我们探索了对比学习框架在音频表征学习中的应用，通过最大化原始音频信号与其频谱表示之间的一致性来学习音频特征。实验结果表明，相较于单一格式的训练方式，该多格式策略带来了显著的性能提升。此外，在下游的AudioSet和ESC-50分类任务中，我们的纯音频方法分别取得了0.376的平均精度（mean average precision）和90.5%的准确率，达到了当前最先进的性能水平。