
摘要
自监督学习(Self-supervised Learning, SSL)技术近年来被引入少样本学习(Few-Shot Learning, FSL)框架,在提升少样本图像分类性能方面展现出显著潜力。然而,现有的用于FSL的SSL方法通常仅从单张图像的全局嵌入中提取监督信号,因此在FSL的元训练(episodic training)过程中,难以充分捕捉和利用图像样本中的局部视觉信息以及整个episode的数据结构信息,而这些信息对FSL任务具有重要价值。针对这一问题,我们提出在少样本学习目标中引入一种新颖的自监督元级空间预训练任务(Episodic Spatial Pretext Task, ESPT)。具体而言,对于每个少样本episode,我们通过随机几何变换对其中所有图像进行处理,生成对应的变换后episode。基于原始episode与变换后episode之间的对应关系,我们的ESPT目标被定义为最大化两者之间局部空间关系的一致性。该设计使得增强后的FSL目标能够促进模型学习更具迁移性的特征表示,有效捕捉不同图像的局部空间特征及其在输入episode中相互关联的结构信息,从而显著提升模型在仅含少量样本的新类别上的泛化能力。大量实验表明,所提出的ESPT方法在三个主流基准数据集上均取得了新的最先进(state-of-the-art)性能。项目源代码将公开于:https://github.com/Whut-YiRong/ESPT。
代码仓库
whut-yirong/espt
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| few-shot-image-classification-on-cub-200-5 | ESPT | Accuracy: 94.02 |
| few-shot-image-classification-on-cub-200-5-1 | ESPT | Accuracy: 85.45 |
| few-shot-image-classification-on-mini-2 | ESPT | Accuracy: 68.36 |
| few-shot-image-classification-on-mini-3 | ESPT | Accuracy: 84.11 |
| few-shot-image-classification-on-tiered | ESPT | Accuracy: 72.68 |
| few-shot-image-classification-on-tiered-1 | ESPT | Accuracy: 87.49 |