少样本学习旨在利用一个或多个深度学习模型所习得的知识，从而在仅有每类少量标注样本的新任务上实现良好的分类性能。近年来，该领域涌现出大量研究工作，提出了包含多种组件的方法。然而，一个常见问题在于，这些方法通常基于次优训练的模型来提取知识，从而引发质疑：所提出的方法是否真的优于直接使用更优的初始模型（而不引入额外组件）？在本工作中，我们提出一种简单的方法，该方法在多个标准化基准测试中达到了甚至超越了当前最先进水平的性能，同时几乎未增加用于在通用数据集上训练初始深度学习模型所需的超参数或模型参数。该方法为新方法的提出以及现有方法的改进提供了一个全新的基线，有助于更公平地评估和比较各类技术。