摘要

在视觉问答（Visual Question Answering, VQA）任务中，答案与问题语义及视觉内容之间具有高度相关性。为此，本文提出一种新颖的三线性交互模型，能够同时学习图像、问题与答案三者之间的高层关联。为缓解交互过程中的复杂性，我们引入了一种基于多模态张量的PARALIND分解方法，该方法能够高效地参数化三者之间的三线性交互关系。此外，本文首次将知识蒸馏技术应用于自由形式的开放式VQA任务中，不仅有效降低了计算开销与内存需求，还实现了从三线性交互模型向双线性交互模型的知识迁移。在TDIUC、VQA-2.0和Visual7W三个基准数据集上的大量实验表明，所提出的紧凑型三线性交互模型在仅使用单一模型的情况下，均取得了当前最优的性能表现。