摘要

文本-图像跨模态检索是语言与视觉领域中一项具有挑战性的任务。以往大多数方法通常将图像和句子独立地嵌入到一个联合嵌入空间中，然后通过比较它们的相似性来实现匹配。然而，这些方法在计算联合空间中的相似性之前，很少探索图像与句子之间的交互关系。直觉上，在进行图像与句子匹配时，人类会交替关注图像中的不同区域和句子中的关键词，并结合两种模态之间的相互作用，选择最具显著性的信息。为此，本文提出了一种跨模态自适应信息传递机制（Cross-modal Adaptive Message Passing, CAMP），该机制能够自适应地控制跨模态间的信息流动。我们的方法不仅充分考虑了细致且全面的跨模态交互，还通过一种自适应门控机制有效处理负样本对以及无关信息。此外，与传统的联合嵌入式文本-图像匹配方法不同，我们基于融合特征推断匹配得分，并提出一种 hardest negative 二分类交叉熵损失函数用于模型训练。在 COCO 和 Flickr30k 数据集上的实验结果显著优于现有最先进方法，充分验证了所提方法的有效性。