摘要

在多模态学习中，注意力网络提供了一种有效的方法来选择性地利用给定的视觉信息。然而，为每对多模态输入通道学习注意力分布的计算成本非常高昂，难以承受。为了解决这一问题，共注意力（co-attention）方法分别为每种模态构建了两个独立的注意力分布，忽略了多模态输入之间的相互作用。在本文中，我们提出了一种双线性注意力网络（Bilinear Attention Networks, BAN），该网络通过寻找双线性注意力分布来无缝利用给定的视觉-语言信息。BAN 考虑了两组输入通道之间的双线性交互，而低秩双线性池化则提取了每对通道的联合表示。此外，我们还提出了一种多模态残差网络的变体，以高效利用 BAN 的八张注意力图。我们在视觉问答（VQA 2.0）和 Flickr30k Entities 数据集上对模型进行了定量和定性的评估，结果表明 BAN 显著优于先前的方法，并在这两个数据集上实现了新的最先进水平。