LanShiyi ; YuZhiding ; ChoyChristopher ; RadhakrishnanSubhashree ; LiuGuilin ; ZhuYuke ; DavisLarry S. ; AnandkumarAnima
摘要
我们介绍了一种名为DiscoBox的新框架，该框架通过边界框监督联合学习实例分割和语义对应。具体而言，我们提出了一种自集成框架，其中实例分割和语义对应不仅受到边界框监督的指导，还受到一个结构化教师模型的引导。该教师模型是一个结合了成对势能和跨图像势能的结构化能量模型，用于建模盒内及盒间像素的成对关系。最小化教师模型的能量同时可以生成改进的对象掩码和类内对象之间的密集对应关系，这些结果被用作伪标签来监督任务网络，并为密集对比学习提供正/负对应对。我们展示了这两种任务之间的一种共生关系，即它们彼此互惠互利。我们的最佳模型在COCO实例分割任务上达到了37.9%的平均精度（AP），超过了先前的弱监督方法，并且与有监督方法具有竞争力。此外，我们在PASCAL VOC12和PF-PASCAL数据集上也获得了实时推理的最佳弱监督结果。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| box-supervised-instance-segmentation-on | DiscoBox | AP_25: 75.2 AP_50: 63.6 AP_70: 45.5 AP_75: 37.5 |
| box-supervised-instance-segmentation-on-coco | DiscoBox | mask AP: 37.9 |
| weakly-supervised-instance-segmentation-on-1 | DiscoBox (ResNet-50) | AP: 31.4 AP@50: 52.6 AP@75: 32.2 AP@L: 50.1 AP@M: 33.8 AP@S: 11.5 |
| weakly-supervised-instance-segmentation-on-2 | DiscoBox (ResNet-101-DCN-FPN) | AP: 35.8 AP@50: 59.8 AP@75: 36.4 AP@L: 52.1 AP@M: 38.7 AP@S: 16.9 |
| weakly-supervised-instance-segmentation-on-2 | DiscoBox (ResNeXt-101-DCN-FPN) | AP: 37.9 AP@50: 61.4 AP@75: 40.0 AP@L: 53.9 AP@M: 41.1 AP@S: 18.0 |
| weakly-supervised-instance-segmentation-on-2 | DiscoBox (ResNet-50-FPN) | AP: 32.0 AP@50: 53.6 AP@75: 32.6 AP@L: 48.4 AP@M: 33.7 AP@S: 11.7 |