摘要

“一图胜千言”，图像所蕴含的信息远超简单的类别分类。然而，若将图像中的多个图像块（patch）独立观察，其中许多区域可能与最终的分类任务毫无关联。这一现象会显著降低一大类少样本学习算法的效率，因为这些算法依赖有限的数据，并高度依赖图像块之间的对比分析。为解决这一问题，我们提出一种类感知图像块嵌入自适应（Class-aware Patch Embedding Adaptation, CPEA）方法，用于学习具有“类感知”特性的图像块嵌入表示。CPEA的核心思想是将原始图像块嵌入与类感知嵌入进行融合，从而使嵌入表示具备类别相关性。进一步地，我们定义了一个跨图像的类相关图像块嵌入之间的密集得分矩阵，基于该矩阵可量化成对图像之间的相似度。可视化结果表明，CPEA能够按类别有效聚集图像块嵌入，显著提升其类别相关性。在四个基准数据集（miniImageNet、tieredImageNet、CIFAR-FS 和 FC-100）上的大量实验表明，所提出的CPEA方法显著优于现有的最先进方法。源代码已公开，获取地址为：https://github.com/FushengHao/CPEA。