摘要

本文研究了少样本分类问题，旨在仅利用少量标注样本，学习针对此前未见类别与领域的新分类器。近期方法通常采用自适应网络，将特征对齐至新领域，或从多个领域特定的特征提取器中选择相关特征。在本工作中，我们提出通过知识蒸馏的方式，从多个独立训练的网络中学习一组统一的深度表示。具体而言，这些网络的特征首先通过适配器（adapters）进行协同对齐，并借助中心核对齐（centered kernel alignment）进一步优化，从而实现知识的高效融合。我们进一步证明，通过一种类似于距离学习方法的高效自适应步骤，这些统一的表示可进一步优化以适应此前未见的领域。我们在最新的 Meta-Dataset 基准上对模型进行了严格评估，结果表明，该方法在性能上显著优于现有方法，同时具备更高的效率。相关代码将开源，地址为：https://github.com/VICO-UoE/URL。