摘要

本文提出了一种统一的全景分割网络（UPSNet），用于解决新提出的全景分割任务。在单一的残差网络骨干基础上，我们首先设计了一个基于可变形卷积的语义分割头和一个Mask R-CNN风格的实例分割头，这两个头部可以同时解决这两个子任务。更重要的是，我们引入了一个无参数的全景头部，通过像素级分类来解决全景分割问题。该头部首先利用前两个头部的输出概率值，然后创新性地扩展了表示方法，以支持预测额外的一个未知类别，这有助于更好地解决语义分割和实例分割之间的冲突。此外，它还应对了实例数量变化带来的挑战，并允许端到端的方式将反向传播传递到底层模块。我们在Cityscapes、COCO以及内部数据集上进行了广泛的实验，结果表明我们的UPSNet在实现更快推理的同时达到了最先进的性能。代码已发布在：https://github.com/uber-research/UPSNet