摘要

分析人类多模态语言是自然语言处理（NLP）领域的一项新兴研究方向。这类语言本质上具有多模态（异构性）、序列性和非同步性特征，由语言（词汇）、视觉（表情）和听觉（副语言）三种模态共同构成，且以非同步协同序列的形式呈现。从资源角度来看，亟需大规模数据集以支持对此类语言形式的深入研究。本文介绍了CMU多模态情感与情绪强度数据集（CMU-MOSEI），这是迄今规模最大的情感分析与情绪识别数据集。基于CMU-MOSEI数据集，并结合一种名为动态融合图（Dynamic Fusion Graph, DFG）的新型多模态融合技术，我们开展了实验，探究不同模态在人类多模态语言中如何相互作用。与以往提出的融合方法不同，DFG具有高度可解释性，在性能上也达到了与当前最先进方法相媲美的水平。