摘要

少样本分割（Few-Shot Segmentation, FSS）成功的关键在于如何有效利用支持样本（support samples）。现有大多数方法将支持图像中的前景（Foreground, FG）特征压缩为原型（prototype），但这一过程会损失部分空间细节信息。另一些方法则采用交叉注意力机制，将查询图像（query image）的特征与未压缩的支持前景特征进行融合。虽然查询图像的前景特征可以与支持图像的前景特征有效融合，但查询图像的背景（Background, BG）特征在支持图像中难以找到对应的背景特征，因而不可避免地会融合不相似的特征。此外，由于查询图像的前景与背景均与支持图像的前景特征相融合，导致两类特征发生纠缠，从而影响分割性能。为解决上述问题，本文提出一种自校准交叉注意力（Self-Calibrated Cross Attention, SCCA）模块。为实现高效的基于块（patch-based）注意力计算，首先将查询图像与支持图像的特征划分为多个图像块。随后，设计了一个图像块对齐模块，用于将每个查询块与最相似的支持块进行对齐，从而提升交叉注意力机制的准确性。具体而言，SCCA以一个查询块作为查询（Query, Q），并将来自同一查询图像的其他块以及与之对齐的支持图像块作为键（Key, K）和值（Value, V）。通过这种方式，查询图像的背景特征能够与匹配的背景特征（来自查询图像自身的块）进行融合，从而有效缓解前述问题。此外，在计算SCCA时，本文设计了一种缩放余弦（scaled-cosine）机制，以更充分地利用支持图像特征进行相似性度量。在PASCAL-5^i与COCO-20^i两个基准数据集上的大量实验表明，所提方法显著优于现有最先进模型。例如，在COCO-20^i数据集的5-shot设置下，本方法的平均交并比（mIoU）较之前最优方法提升5.6%。代码已开源，地址为：https://github.com/Sam1224/SCCAN。