摘要

当前的深度学习多模态融合方法主要依赖于自下而上的融合策略，即对高层或中层的潜在模态表征（晚期/中晚期融合）或低层感官输入（早期融合）进行融合。然而，人类感知模型强调了自上而下融合的重要性——高层表征会影响感官输入的感知方式，即认知过程对感知具有调控作用。现有深度学习模型尚未有效捕捉这种自上而下的交互机制。本文提出一种新型神经网络架构，通过在训练过程的前向传播中引入反馈机制，实现了对自上而下跨模态交互的有效建模。该机制为每种模态提取高层表征，并利用这些表征对原始感官输入进行掩码，从而实现自上而下的特征掩码。我们将该方法应用于CMU-MOSEI数据集上的多模态情感识别任务，实验结果表明，该方法在性能上持续优于广泛使用的MulT模型以及我们所构建的强基准晚期融合模型，取得了当前最先进的识别效果。