摘要

场景图是图像的语义抽象，有助于视觉理解和推理。然而，在现实世界场景中面对有偏数据时，场景图生成（SGG）的性能不尽如人意。传统的去偏研究主要从平衡数据分布或学习无偏模型和表示的角度进行，忽略了有偏类之间的相关性。在本工作中，我们从一个新颖的认知视角分析了这一问题：通过自动构建层次认知结构，从有偏预测中导航该层次结构以定位关系，从而使尾部关系在粗到细的过程中获得更多关注。为此，我们提出了一种新的去偏认知树（CogTree）损失函数，用于无偏SGG。首先，我们根据有偏SGG模型的预测结果构建了一个认知结构——CogTree，该结构首先区分显著不同的关系，然后专注于一小部分容易混淆的关系。接着，我们为这种认知结构提出了一种专门的去偏损失函数，支持对正确关系进行从粗到细的区分。该损失函数与模型无关，并且能够持续提升多个最先进模型的性能。代码可在以下地址获取：https://github.com/CYVincent/Scene-Graph-Transformer-CogTree。