摘要

全景分割任务要求从语义分割与实例分割的输出结果中获得统一的预测结果，而这些结果中可能包含重叠区域。然而，当前大多数研究普遍忽略了对重叠关系的建模。在本研究中，我们旨在建模实例之间的重叠关系，并对其进行有效解决，以提升全景分割的性能。受场景图（scene graph）表示方法的启发，我们将重叠问题简化为一种特定情形，称为“场景重叠图”（scene overlap graph）。我们利用每个物体的类别、几何形状及外观特征进行关系嵌入（relational embedding），输出一个关系矩阵，用于编码实例间的重叠关系。为应对监督信号不足的问题，我们设计了一个可微分模块，用于自动解析任意一对实例之间的重叠。在去除重叠后的掩码 logits（mask logits）被输入到逐像素实例 ID 分类网络中，该网络借助全景分割的监督信号，进一步辅助重叠关系的建模。此外，我们还构建了一个近似的重叠关系真值（ground truth）作为弱监督信号，用于量化模型所预测重叠关系的准确性。在 COCO 与 Cityscapes 数据集上的实验表明，所提方法能够准确预测实例间的重叠关系，并在全景分割任务上超越现有最先进方法。此外，本方法在 COCO 2019 挑战赛中荣获“创新奖”（Innovation Award）。