摘要

全景分割已成为视觉识别任务的新标准，通过统一先前的语义分割和实例分割任务而实现。在本文中，我们提出并探讨了这一任务的一种新的视频扩展形式，称为视频全景分割。该任务不仅要求生成一致的全景分割结果，还需要在视频帧之间建立实例ID的关联。为了激发对这一新任务的研究，我们介绍了两种类型的视频全景数据集。第一种是对合成的VIPER数据集进行重新组织，以利用其大规模像素注释转换为视频全景格式。第二种是在Cityscapes验证集上进行时间扩展，提供新的视频全景注释（Cityscapes-VPS）。此外，我们提出了一种新颖的视频全景分割网络（VPSNet），该网络能够在视频帧中联合预测对象类别、边界框、掩码、实例ID跟踪和语义分割。为了为此任务提供适当的评估指标，我们提出了一种视频全景质量（VPQ）度量，并对其方法和其他几个基线进行了评估。实验结果表明，所提出的两个数据集具有有效性。我们在Cityscapes图像PQ和Cityscapes-VPS及VIPER数据集的VPQ方面均取得了最先进的结果。这些数据集和代码已公开发布。