摘要
语音情感识别（Speech Emotion Recognition, SER）旨在将语音信号分类为不同的情感类别，例如：高兴、愤怒、悲伤和中性。近年来，深度学习技术已被广泛应用于SER任务。本文提出了一种多任务学习（Multi-Task Learning, MTL）框架，基于wav2vec-2.0的端到端深度神经网络模型，实现语音到文本识别与情感分类的联合建模。在IEMOCAP基准数据集上的实验结果表明，所提出的方法在SER任务上达到了当前最优（state-of-the-art）的性能。此外，消融实验进一步验证了所提MTL框架的有效性。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| speech-emotion-recognition-on-iemocap | SER with MTL | F1: - UA CV: 0.7815 |