摘要

视觉定位（Visual Grounding）是众多视觉-语言任务中的核心组成部分，但由于定位实体在视觉与语言特征上存在巨大差异、上下文影响强烈，以及由此引发的语义模糊性，该任务依然极具挑战性。以往的研究通常侧重于在有限上下文信息下学习单个短语的表示，难以充分捕捉全局语义关联。为克服这些局限，本文提出一种语言引导的图表示方法，以建模定位实体的全局上下文及其相互关系，并设计了一种跨模态图匹配策略，用于解决多短语视觉定位任务。具体而言，我们引入一种模块化图神经网络，通过消息传递机制分别计算短语与候选物体区域的上下文感知表示，随后通过基于图的匹配模块生成全局一致的定位结果。整个图神经网络采用两阶段联合训练策略进行优化，并在 Flickr30K Entities 基准数据集上进行评估。大量实验表明，所提方法显著超越现有最先进方法，充分验证了所提出定位框架的有效性。代码已开源，地址为：https://github.com/youngfly11/LCMCG-PyTorch。