摘要

在本文中，我们研究了多模态数据分析问题，并以视听情感识别为具体应用案例。我们提出了一种能够直接从原始数据中学习的网络架构，并设计了三种具有不同模态融合机制的变体。与以往多数研究假设在推理过程中始终同时存在两种模态的理想情形不同，本文在非受限场景下评估了模型的鲁棒性，即当某一模态缺失或信号受噪声干扰时的表现，并提出一种基于模态丢弃（modality dropout）的方法以缓解此类问题。尤为重要的是，我们发现采用该方法不仅显著提升了在某一模态缺失或信号受损情况下的性能，同时在标准的理想设置下也优于现有竞争方法，表现出更优的整体性能。