摘要

少样本分割是一项具有挑战性的密集预测任务，其目标是在仅提供少量标注的支持图像（support set）的情况下，对新的查询图像进行分割。该任务的核心挑战在于设计一种方法，能够在充分聚合支持集中细节信息的同时，对图像外观和上下文的大幅变化保持鲁棒性。为此，我们提出了一种基于密集高斯过程（Dense Gaussian Process, GP）回归的少样本分割方法。给定支持集，我们的密集高斯过程学习从局部深层图像特征到掩码值之间的映射关系，能够有效捕捉复杂的外观分布特征。此外，该方法还提供了一种理论严谨的不确定性建模机制，该不确定性可作为辅助线索，进一步提升最终分割结果的精度，而最终分割结果由一个卷积神经网络（CNN）解码器生成。不同于传统的单维掩码输出，我们进一步利用该方法的端到端学习能力，学习一个高维输出空间以表示高斯过程。在PASCAL-5$^i$和COCO-20$^i$基准测试中，我们的方法取得了新的最先进性能，在COCO-20$^i$的5-shot设置下实现了+8.4 mIoU的绝对提升。此外，随着支持集规模的增加，本方法的分割质量能够平稳提升，同时展现出优异的跨数据集迁移能力。代码与训练好的模型已开源，地址为：\url{https://github.com/joakimjohnander/dgpnet}。