摘要

场景图生成（Scene Graph Generation, SGG）是一项视觉理解任务，旨在将场景描述为实体及其相互关系构成的图结构。现有方法通常依赖于边界框或分割掩码等形式的位置标签，这显著增加了标注成本，并限制了数据集的扩展。鉴于许多实际应用并不需要精确的空间位置信息，我们打破了对位置数据的依赖，提出了一种无需位置信息的场景图生成任务——无位置场景图生成（Location-Free Scene Graph Generation, LF-SGG）。该任务的目标是在不显式计算实体空间位置的前提下，预测场景中实体实例及其相互关系。为客观评估该任务，需对预测结果与真实标注的场景图进行比较。针对这一NP难问题，我们设计了一种高效的分支算法予以解决。此外，我们提出了首个LF-SGG方法——Pix2SG，该方法基于自回归序列建模框架。我们在三个主流场景图生成数据集以及两个下游任务（图像检索与视觉问答）上验证了所提方法的有效性。实验结果表明，尽管不依赖位置线索，我们的方法在性能上仍可与现有先进方法相媲美，展现出良好的竞争力。