摘要

对话中的情感识别（Emotion Recognition in Conversation, ERC）旨在分析说话者在对话中的心理状态，并识别其情绪。近年来，ERC研究主要聚焦于上下文建模，却忽视了对上下文情感倾向的表征。为更有效地提取多模态信息及话语的情感倾向，本文提出一种新型结构——Emoformer，该结构能够从不同模态中提取多模态情感向量，并将其与句子向量融合，形成一个情感胶囊（emotion capsule）。此外，我们设计了一种端到端的ERC模型——EmoCaps，该模型通过Emoformer结构提取情感向量，并借助上下文分析模型获得最终的情感分类结果。在两个基准数据集上的实验表明，所提出的模型在性能上优于现有最先进的方法。