摘要

在少量标注样本条件下训练语义分割模型在诸多实际应用场景中具有巨大潜力。针对少样本分割任务，其核心挑战在于如何在训练数据有限的情况下，准确度量支持集（support）样本与查询集（query）样本之间的语义对应关系。为解决这一问题，本文提出一种基于可学习协方差矩阵聚合的可变形4D Transformer方法，以高效预测分割结果。具体而言，本文首先设计了一种新颖的困难样本挖掘机制，用于学习高斯过程中的协方差核函数。所学习到的协方差核函数在语义对应度量方面，相较于现有基于余弦相似度的方法具有显著优势。在此基础上，进一步构建了一种高效的双重可变形4D Transformer模块，能够自适应地将特征相似性图聚合为最终的分割结果。通过结合上述两种设计，所提出的方法不仅在多个公开基准数据集上达到了新的最先进性能，而且收敛速度显著快于现有方法。在三个公开数据集上的实验结果充分验证了该方法的有效性。