摘要

使用不精确监督进行弱监督视觉识别是一个关键但具有挑战性的学习问题。它显著降低了人工标注成本，并且传统上依赖于多实例学习和伪标签方法。本文介绍了WeakSAM，该方法通过利用预训练的视觉基础模型（即Segment Anything Model，SAM）中包含的世界知识，解决了弱监督目标检测（WSOD）和分割问题。WeakSAM通过自适应伪地面真值（PGT）生成和感兴趣区域（RoI）丢弃正则化，克服了传统WSOD再训练中的两个主要限制，即伪地面真值的不完整性以及噪声PGT实例。此外，WeakSAM还解决了SAM在自动目标检测和分割中需要提示和类别无感知的问题。我们的实验结果表明，WeakSAM在WSOD和WSIS基准测试中大幅超越了以往的最先进方法，分别平均提高了7.4%和8.5%。代码可在以下网址获取：\url{https://github.com/hustvl/WeakSAM}。