摘要

全景分割（Panoptic Segmentation）旨在对输入图像中的每个像素生成类别（class）和实例（instance）级别的预测，这一任务极具挑战性，远比简单融合语义分割与实例分割结果复杂得多。因此，预测结果的融合在实现高精度全景分割中至关重要。本文提出REFINE——一种用于全景分割的预测融合网络（pREdiction FusIon NEtwork），通过优化跨任务预测融合与同任务内预测融合，显著提升全景分割质量。所提出的单模型架构采用ResNeXt-101与可变形卷积（DCN）作为主干网络，在COCO数据集上取得了51.5的Panoptic Quality（PQ）指标，显著超越现有最先进方法，性能接近集成模型水平。此外，采用ResNet-50作为主干网络的轻量级模型也达到了44.9的PQ值，与使用更大主干网络的先进方法表现相当。