摘要

对话中的多模态情感识别（Multimodal Emotion Recognition in Conversation, ERC）在人机交互与对话机器人领域具有重要影响，因其能够推动机器提供更具共情能力的服务。近年来，多模态数据建模成为新兴研究热点，其灵感源自人类整合多种感官信息的能力。尽管已有若干基于图结构的方法声称能够捕捉模态间的交互信息，但多模态数据固有的异质性使得这些方法难以获得最优解。为此，本文提出一种名为“基于图与注意力的两阶段多源信息融合”（Graph and Attention based Two-stage Multi-source Information Fusion, GA2MIF）的多模态融合方法，用于对话场景下的情感检测。所提方法有效规避了将异质图结构直接输入模型所带来的挑战，同时在图结构构建过程中消除了复杂的冗余连接。GA2MIF通过引入多头有向图注意力网络（Multi-head Directed Graph ATtention networks, MDGATs）实现上下文建模，利用多头成对跨模态注意力网络（Multi-head Pairwise Cross-modal ATtention networks, MPCATs）完成跨模态建模。在两个公开数据集（IEMOCAP 与 MELD）上的大量实验结果表明，GA2MIF能够有效捕捉模态内部的长距离上下文信息以及模态之间的互补信息，并显著超越现有主流先进模型（State-of-the-Art, SOTA），展现出卓越的性能优势。