摘要

在仅使用图像级标签（image-level labels）而非昂贵的像素级掩码或边界框标注的情况下，实现弱监督语义实例分割，是缓解深度学习模型对大量标注数据依赖的关键问题。本文针对这一具有挑战性的任务，提出一种新方法：将所有训练图像的图像级信息整合为一个大型知识图谱，并利用该图谱中的语义关系进行推理。具体而言，我们的方法从不依赖类别先验的通用分割提议（Segment-based Object Proposals, SOP）出发，构建了一个多实例学习（Multiple Instance Learning, MIL）框架。该框架可基于仅带有图像级标签的训练图像进行端到端训练。对于每个提议区域，该MIL框架能够同时计算类别相关的概率分布与语义特征。基于这些信息，我们构建了一个大规模无向图。该图中还包含“背景”类别，以有效剔除大量噪声性对象提议。通过对该图进行最优多路割（multi-way cut）操作，可为每个提议区域分配可靠的类别标签。经过去噪处理并赋予类别标签的SOP可视为训练图像的伪实例分割结果，进而用于训练全监督模型。实验结果表明，所提出的方法在弱监督实例分割与语义分割任务上均达到了当前最优性能。