摘要

本文提出了一种用于图像中短语定位的新型图学习框架。现有方法从序列化图模型发展到密集图模型，虽能捕捉粗粒度上下文信息，却难以区分不同短语与图像区域之间的上下文差异。相比之下，本文特别关注场景图上下文中蕴含的不同语义模式（motif），设计了解耦图网络（disentangled graph network），以将具有模式感知能力的上下文信息融入表示之中。此外，我们在特征层和结构层均引入干预策略（interventional strategies），以增强表示的鲁棒性与泛化能力。最后，通过跨模态注意力网络融合模态内特征，使每个短语能够与图像区域计算相似度，从而选出最优的定位结果。通过一系列消融实验，我们验证了所提出的解耦与干预图网络（DIGN）的有效性，该模型在Flickr30K Entities和ReferIt Game两个基准数据集上均取得了当前最优的性能表现。