摘要

对话中的情感分析与情绪检测在诸多实际应用中具有重要意义，随着可用模态的增加，人们对潜在情绪的理解也得以深化。多模态情绪检测与情感分析尤其具有应用价值，因为系统可根据实际可用数据灵活选择特定的模态子集进行处理。然而，当前大多数具备多模态功能的系统仍未能充分捕捉和利用以下关键因素：所有模态所共同承载的对话上下文信息、听者与说话者情绪状态之间的依赖关系，以及各可用模态之间的相关性与相互作用关系。本文提出一种端到端的循环神经网络（RNN）架构，旨在有效应对上述挑战。截至本文撰写时，所提出的模型在基准数据集上，于多种准确率与回归评估指标上均优于现有最先进方法。