摘要

现代数字世界正日益呈现出多模态特征。在互联网环境中，图像与文本常常相伴出现，因此涉及图像与文本两种模态的分类问题极为常见。本文研究了基于同一概念的文本信息与视觉表征的多模态分类任务。我们探讨了两种主要的基础多模态融合方法，并将其与堆叠（stacking）技术相结合，以更有效地应对此类问题。实验中，我们采用 UPMC Food-101 数据集，该数据集具有较高的难度和较强的噪声特性，能够很好地代表这一类多模态问题。实验结果表明，所提出的早期融合技术结合基于堆叠的集成方法，在所使用的数据集上取得了优于现有最先进水平的性能。