摘要

少样本分割（Few-shot segmentation）面临的主要挑战在于支持图像（support images）与查询图像（query images）中的物体在外观和姿态上可能存在显著差异。若直接从支持图像中提取单一原型（prototype）来分割查询图像，容易导致语义模糊。为此，本文提出原型混合模型（Prototype Mixture Models, PMMs），通过将图像中的不同区域与多个原型建立关联，从而强化基于原型的语义表示能力。PMMs采用期望最大化（Expectation-Maximization）算法进行估计，能够从有限的支持图像中捕捉丰富的通道维度与空间语义信息。作为特征表示与分类器联合使用时，PMMs以双重机制激活查询图像中的目标物体，同时抑制背景区域，充分挖掘并利用语义信息。在Pascal VOC与MS-COCO数据集上的大量实验表明，PMMs显著超越现有最先进方法。特别是在MS-COCO数据集上，PMMs将5-shot分割性能提升最高达5.82%，且对模型规模和推理速度仅带来适度的开销。