摘要

对话中的多模态情感识别（Emotion Recognition in Conversation, ERC）近年来受到多个研究领域广泛关注。本文提出一种具有情感转移感知能力的跨模态融合网络（Cross-modal Fusion Network with Emotion-Shift Awareness, CFN-ESA），用于提升ERC性能。现有方法通常对各模态赋予同等权重，未能区分不同模态中所蕴含的情感信息量，导致难以充分挖掘多模态数据间的互补信息。为解决这一问题，CFN-ESA将文本模态视为情感信息的主要来源，而视觉与语音模态则作为次要信息源。此外，大多数现有多模态ERC模型忽视了情感转移（emotion shift）信息，过度关注上下文语境，因而难以在情感转移场景下实现准确识别。为此，本文设计了一个专门的情感转移模块（LESM），以应对该挑战。CFN-ESA主要由三个模块构成：单模态编码器（RUME）、跨模态编码器（ACME）以及情感转移模块（LESM）。其中，RUME用于提取对话层面的上下文情感线索，并对齐不同模态之间的数据分布；ACME以文本模态为中心，实现多模态间的交互建模；LESM则用于建模情感转移过程，捕捉情感变化的关键信息，从而引导主任务的学习。实验结果表明，CFN-ESA能有效提升ERC性能，在多个基准数据集上显著优于当前最先进的模型。