摘要

我们提出了一种用于实时（>30帧/秒）实例分割的简单全卷积模型，在单个Titan Xp上评估时，该模型在MS COCO数据集上取得了具有竞争力的结果，显著快于任何先前的最先进方法。此外，我们在仅使用一个GPU进行训练的情况下获得了这一结果。我们通过将实例分割分解为两个并行子任务来实现这一点：(1) 生成一组原型掩码；(2) 预测每个实例的掩码系数。然后，我们通过线性组合原型掩码和掩码系数来生成实例掩码。我们发现，由于这一过程不依赖于重新池化，因此该方法能够生成非常高质量的掩码，并且自然具备时间稳定性。此外，我们分析了原型的涌现行为，并展示了它们以平移不变的方式自主学习定位实例，尽管模型是全卷积的。我们还提出了快速非极大值抑制（Fast NMS），这是一种可以替代标准NMS的标准组件，其速度提高了12毫秒，而性能损失微乎其微。最后，通过在骨干网络中引入可变形卷积、优化预测头以获得更好的锚点尺度和宽高比，并添加一个新的快速掩码重评分分支，我们的YOLACT++模型能够在33.5帧/秒的速度下在MS COCO数据集上达到34.1 mAP的性能，这接近最先进方法的水平，同时仍能实现实时运行。