摘要

多模态语言分析是一个极具挑战性的研究领域，其核心挑战在于两个方面：融合多种模态信息，以及捕捉时序动态特征。近年来，该领域涌现出大量研究工作，主要聚焦于下游任务中的监督学习范式。本文提出一种无监督的多模态语言表征学习方法，旨在构建通用性强、可广泛适用于多种任务的多模态表示模型。为此，我们首先将词级别对齐的多模态序列映射为二维矩阵，随后利用卷积自编码器（Convolutional Autoencoders）融合多个数据集，学习高效的嵌入表示。在情感分析（MOSEI）和情绪识别（IEMOCAP）任务上的大量实验表明，所学习到的表征仅需配合逻辑回归（Logistic Regression）进行下游分类，即可达到接近当前最先进水平的性能表现。此外，实验还验证了本方法具有极轻量级的特点，能够轻松推广至其他任务及未见数据，在性能损失极小的同时，参数量基本保持不变。本文提出的多模态表征模型已开源，有望推动多模态语言分析技术的广泛应用与持续发展。