摘要

在视频中对像素级目标掩码进行标注成本高昂且耗时费力。因此，现有视频实例分割（VIS）数据集中像素级标注的数量有限，制约了训练所得VIS模型的泛化能力。作为一种替代方案，使用边界框（bounding boxes）标注视频中的实例更为经济高效。受近期基于边界框监督的图像实例分割方法取得成功的启发，我们将当前最先进的像素级监督VIS模型迁移至边界框监督的VIS（BoxVIS）基准框架中，结果发现性能出现轻微下降。为此，我们从两个方面提出改进策略：首先，提出一种基于框中心引导的时空成对亲和力（Spatial-Temporal Pairwise Affinity, STPA）损失函数，以提升实例掩码预测在空间与时间维度上的一致性；其次，通过整合现有VIS基准中的视频数据，并将COCO数据集中的图像转换为短时伪视频片段，构建了一个规模更大的边界框标注VIS数据集（BVISD）。结合所提出的BVISD数据集与STPA损失函数，我们训练的BoxVIS模型在YouTube-VIS 2021和OVIS验证集上分别取得了43.2%和29.0%的掩码平均精度（mask AP）。该模型仅需现有像素级监督VIS模型约16%的标注时间和成本，即可实现与当前最先进像素监督模型相当的实例掩码预测性能，并展现出更优的泛化能力。代码与数据集详见：\url{https://github.com/MinghanLi/BoxVIS}。