摘要

获取大规模、人工标注的语音数据集以训练情感识别模型是一项众所周知的艰巨任务，受到标注成本高和标签模糊性的阻碍。在本研究中，我们探讨了在没有任何形式的标注音频的情况下学习语音分类嵌入的任务。我们的方法基于一个简单的假设：即语音的情感内容与说话人的面部表情相关。通过利用这种关系，我们展示了可以通过跨模态蒸馏将表情注释从视觉域（面部）转移到语音域（声音）。我们做出了以下贡献：(i) 开发了一个强大的面部情感识别教师网络，在标准基准测试中达到了当前最佳水平；(ii) 利用该教师网络从零开始训练一个学生网络，以学习无需标注音频数据的语音情感识别表示（嵌入）；(iii) 展示了所学的语音情感嵌入可以在外部基准数据集上用于语音情感识别。代码、模型和数据均可获取。