摘要

跨模态与上下文维度的高阶复杂关系是对话情感识别（Emotion Recognition in Conversation, ERC）任务中的关键挑战。然而，以往的研究多采用松散耦合的方式编码多模态与上下文关系，可能损害关系建模的准确性。近年来，图神经网络（Graph Neural Networks, GNN）因其在捕捉数据间关系方面的优势，为ERC任务提供了新的解决方案。然而，现有的基于GNN的ERC模型未能有效克服GNN的一些固有局限，例如假设关系仅限于成对形式，以及忽略高频信号，而这些在多数应用中可能看似次要，却对ERC任务至关重要。本文提出一种基于GNN的新型模型，通过挖掘多变量关系并利用多频信号来量化情感差异与共性的动态重要性，从而增强模型对话语间内在关系的捕捉能力，实现更充分的多模态与上下文建模。实验结果表明，所提出的方法在两个主流多模态ERC数据集上均优于现有最先进模型。