摘要

本文旨在研究如何在极短的训练时间和极少GPU资源消耗的前提下，构建一个性能强大的实例分割模型。与当前大多数方法通过构建更复杂的框架以追求更高精度，从而导致训练时间更长、GPU需求更高的趋势形成鲜明对比，我们提出了一种简单且通用的框架——Mask Frozen-DETR。该框架可将任意现有的基于DETR的物体检测模型快速转化为高性能的实例分割模型。我们的方法仅需训练一个轻量级的掩码网络，该网络在冻结的DETR类物体检测器所生成的边界框内预测实例掩码。令人瞩目的是，该方法在COCO test-dev数据集上的性能优于当前最先进的实例分割方法Mask DINO（55.3% vs. 54.7%），同时训练速度超过其10倍。此外，所有实验均仅需单张配备16 GB显存的Tesla V100 GPU即可完成，充分体现了所提出框架在训练效率方面的显著优势。