摘要
仅使用图像级标签进行弱监督实例分割（WSIS）是一项具有挑战性的任务，因为粗略注释与更精细的任务对齐存在困难。然而，随着深度神经网络（DNNs）的发展，WSIS 已经引起了广泛关注。在基于提议的方法中，我们遇到了由单个实例被多个提议表示而产生的冗余分割问题。例如，我们将一张狗的照片和提议输入网络，期望输出一个包含狗的提议，但网络却输出了多个提议。为了解决这一问题，我们提出了一种新的 WSIS 方法，该方法通过使用 MaskIoU 头来预测提议的完整性分数，并采用一种显式建模冗余分割问题并生成改进伪标签的完整实例挖掘（CIM）策略来进行在线实例完善。我们的方法使网络能够识别多个实例和完整实例，并通过引入抗噪策略进一步提高了其鲁棒性。在 PASCAL VOC 2012 和 MS COCO 数据集上的实证评估表明，我们的方法以显著的优势达到了最先进的性能。我们的实现代码将在 https://github.com/ZechengLi19/CIM 上公开发布。
代码仓库
ZechengLi19/CIM
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-level-supervised-instance-segmentation | CIM + Mask R-CNN | mAP@0.25: 68.7 mAP@0.5: 55.9 mAP@0.7: 37.1 mAP@0.75: 30.9 |
| image-level-supervised-instance-segmentation | CIM | mAP@0.25: 64.9 mAP@0.5: 51.1 mAP@0.7: 32.4 mAP@0.75: 26.1 |
| image-level-supervised-instance-segmentation-1 | CIM | AP: 12.0 AP@50: 23.0 AP@75: 11.3 |
| image-level-supervised-instance-segmentation-1 | CIM + Mask R-CNN | AP: 17.2 AP@50: 29.7 AP@75: 17.3 |
| image-level-supervised-instance-segmentation-2 | CIM | AP: 11.9 AP@50: 22.8 AP@75: 11.1 |
| image-level-supervised-instance-segmentation-2 | CIM + Mask R-CNN | AP: 17.0 AP@50: 29.4 AP@75: 17.0 |
| point-supervised-instance-segmentation-on | CIM + Mask R-CNN | mAP@0.25: 67.8 mAP@0.5: 55.5 mAP@0.7: 36.6 mAP@0.75: 31.1 |
| weakly-supervised-instance-segmentation-on | CIM + Mask R-CNN | mAP@0.25: 68.7 mAP@0.5: 55.9 mAP@0.75: 30.9 |