摘要

指代表达分割（Referring Expression Segmentation, RES）旨在根据文本（即指代表达）提供图像中目标对象的分割掩码。现有的方法需要大规模的掩码注释。此外，这些方法在未见过的/零样本场景中泛化能力较差。为了解决上述问题，我们提出了一种弱监督引导架构，并引入了若干新的算法创新。据我们所知，这是首个仅使用部分掩码和边界框注释（如图1和表1所示）进行训练的方法。为了在这种低注释设置下实现模型的合理训练，提高图像-文本区域级对齐，并进一步增强图像中目标对象的空间定位，我们提出了带有注意力一致性模块的跨模态融合技术。对于未标记样本的自动伪标签生成，我们引入了一种基于空间感知零样本提案评分的新颖掩码有效性过滤程序。大量实验表明，在仅使用30%注释的情况下，我们的模型SafaRi在RefCOCO+@testA和RefCOCO+testB数据集上分别达到了59.31和48.26的mIoU值，而完全监督的最先进方法SeqTR在这两个数据集上的mIoU值分别为58.93和48.19。在完全监督设置下，SafaRi在RefCOCO+@testA数据集上比SeqTR高出11.7%，在RefCOCO+testB数据集上高出19.6%，并在未见过的/零样本任务中展示了强大的泛化能力。