
摘要
我们介绍了一种名为MOVE的新方法,该方法能够在没有任何形式监督的情况下对物体进行分割。MOVE利用了前景物体可以在其初始位置附近局部移动并生成真实(未失真)新图像这一特性。这一特性使我们能够在没有注释的图像数据集上训练分割模型,并在多个用于无监督显著物体检测和分割的评估数据集中达到最先进的(SotA)性能。在无监督单个物体发现方面,MOVE相比现有最佳方法平均提高了7.2%的CorLoc指标;而在无监督类别无关物体检测方面,它平均相对提高了53%的AP指标。我们的方法基于自监督特征(例如来自DINO或MAE)、修复网络(基于Masked AutoEncoder)以及对抗训练。
代码仓库
adambielski/move-seg
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| single-object-discovery-on-coco-20k | MOVE + CAD | CorLoc: 71.9 |
| single-object-discovery-on-coco-20k | MOVE | CorLoc: 66.6 |
| unsupervised-saliency-detection-on-dut-omron | MOVE | Accuracy: 93.7 IoU: 66.6 maximal F-measure: 76.6 |
| unsupervised-saliency-detection-on-duts | MOVE | Accuracy: 95.4 IoU: 72.8 maximal F-measure: 82.9 |
| unsupervised-saliency-detection-on-ecssd | MOVE | Accuracy: 95.6 IoU: 83.6 maximal F-measure: 92.1 |