摘要

全景场景图生成（Panoptic Scene Graph generation, PSG）是一项最近提出的图像场景理解任务，旨在对图像进行分割并提取主体、客体及其关系的三元组以构建场景图。该任务具有两大挑战。首先，其关系类别存在长尾问题，导致简单的方法更容易偏向高频关系。现有的无偏方法通过数据/损失再平衡来优先考虑低频关系，从而解决长尾问题。其次，一个主体-客体对可能具有两个或更多在语义上重叠的关系。而现有方法通常倾向于选择其中一个关系，我们提出的HiLo框架则让不同的网络分支分别专注于低频和高频关系，强制它们的一致性并融合结果。据我们所知，这是首次提出显式无偏的PSG方法。在广泛的实验中，我们展示了HiLo框架在PSG任务上取得了最先进的结果。此外，我们将该方法应用于预测边界框而非掩码的场景图生成任务，并发现所有基线方法均有所改进。代码可在https://github.com/franciszzj/HiLo 获取。