摘要

由于情绪表达具有多模态特性，对话中的情绪识别面临巨大挑战。为此，我们提出了一种分层交叉注意力模型（Hierarchical Cross-Attention Model, HCAM），该模型结合循环神经网络与协同注意力机制，用于多模态情绪识别。模型输入包含两种模态：其一为音频数据，采用可学习的wav2vec方法进行处理；其二为文本数据，通过双向Transformer编码器（Bidirectional Encoder Representations from Transformers, BERT）进行表征。音频与文本的特征表示分别通过一系列双向循环神经网络层与自注意力机制进行处理，将对话中的每句话语转换为固定维度的嵌入向量。为进一步融合上下文信息及跨模态之间的关联，模型引入协同注意力层，对音频与文本的嵌入向量进行加权整合，以突出与情绪识别任务相关的关键话语级特征。模型中音频模块、文本模块以及多模态协同注意力模块的神经网络参数，均针对情绪分类任务进行分层训练。我们在三个公认的基准数据集（IEMOCAP、MELD 和 CMU-MOSI）上进行了实验，结果表明，所提出的HCAM模型显著优于现有基准方法，并在所有数据集上均取得了当前最优（state-of-the-art）的识别性能。