摘要

目标定位是全景分割中的基础性任务，因为它与图像场景中的所有“事物”（things）和“东西”（stuff）密切相关。准确掌握图像中目标的位置信息，能够为分割提供重要线索，并帮助网络更深入地理解场景语义。如何在“事物”与“东西”的分割任务中有效融合目标位置信息，是一个关键挑战。本文提出一种空间信息流（spatial information flows）机制，以实现该目标。该信息流能够通过将边界框回归任务中获得的目标空间上下文传递至其他子任务，从而实现全景分割中各子任务之间的有效连接。更重要的是，我们设计了四个并行的子网络，以在不同子任务中更优地适配目标的空间信息。基于这些子网络与信息流结构，我们构建了一个具备位置感知能力且统一的全景分割框架，命名为 SpatialFlow。我们对框架中的每个组件进行了详尽的消融实验，并通过大量实验证明了 SpatialFlow 的有效性。此外，该方法在 MS-COCO 和 Cityscapes 两个主流全景分割基准上分别取得了 47.9 PQ 和 62.5 PQ 的领先性能。代码将开源，地址为：https://github.com/chensnathan/SpatialFlow。