摘要

情感识别在对话（Emotion Recognition in Conversation, ERC）中对于使对话系统能够有效响应用户请求起着至关重要的作用。对话中的情感可以通过多种模态的表示来识别，例如音频、视觉和文本。然而，由于非言语模态对情感识别的贡献较弱，多模态ERC一直被认为是一项具有挑战性的任务。本文提出了一种教师引导的多模态融合网络用于ERC（Teacher-leading Multimodal fusion network for ERC, TelME）。TelME通过跨模态知识蒸馏技术，将作为教师的语言模型的信息传递给非言语学生模型，从而优化弱模态的有效性。随后，我们采用一种转移融合方法结合多模态特征，在该方法中学生网络支持教师网络。TelME在MELD数据集上取得了最先进的性能，该数据集是一个用于ERC的多说话者对话数据集。最后，我们通过额外的实验展示了各组件的有效性。