摘要

本文提出了一种名为MMER的新型多模态多任务学习方法，用于语音情感识别。MMER采用一种基于早期融合机制及文本与语音模态间跨模态自注意力机制的新型多模态网络结构，并设计了三项新颖的辅助任务，以提升从口语语句中学习情感识别的能力。实验结果表明，MMER在实际应用中优于所有基线模型，并在IEMOCAP基准测试上达到了当前最优的性能水平。此外，我们还开展了全面的消融实验与结果分析，充分验证了所提出方法的有效性。