摘要

情感分析与对话中的情绪检测在诸多现实应用场景中具有重要意义，随着可用模态的增多，人们对潜在情绪的理解也更加深入。多模态情绪检测与情感分析尤其具有应用价值，因为系统可根据实际可用的数据，灵活选择特定的模态子集进行处理。然而，当前的多模态系统在处理过程中仍未能充分捕捉和利用所有模态之间的上下文信息，未能有效建模听者与说话者情绪状态之间的依赖关系，也未能充分揭示各可用模态之间的相关性与相互作用。本文提出了一种端到端的循环神经网络（RNN）架构，旨在克服上述问题。在撰写本文时，所提出的模型在基准数据集上，于多种准确率与回归评估指标上均优于现有最先进方法。