摘要

近年来，生成场景图以描述图像内部的所有关系引起了越来越多的兴趣。然而，大多数先前的方法要么使用复杂的结构导致推理速度缓慢，要么依赖外部数据，这限制了模型在实际场景中的应用。为了提高场景图生成的效率，我们提出了一种基于子图的连接图来简洁地表示推理过程中的场景图。首先采用自底向上的聚类方法将整个场景图分解为子图，每个子图包含若干对象及其部分关系。通过用较少的子图和对象特征替代场景图中大量的关系表示，中间阶段的计算量显著减少。此外，子图特征保留了空间信息，这些信息被我们提出的空间加权消息传递（Spatial-weighted Message Passing, SMP）结构和空间敏感关系推理（Spatial-sensitive Relation Inference, SRI）模块所利用，以促进关系识别。在最近的视觉关系检测和Visual Genome数据集上，我们的方法在准确性和速度方面均优于现有最先进的方法。