摘要

跨域少样本学习（Cross-Domain Few-Shot Learning, CDFSL）方法通常使用任务无关参数和任务特定参数对模型进行参数化。为了适应任务特定参数，最近的方法采用了固定的优化策略，尽管这些策略在不同领域或目标任务中可能存在次优性。为了解决这一问题，我们提出了一种新的适应机制，称为任务特定预条件梯度下降（Task-Specific Preconditioned gradient descent, TSP）。我们的方法首先通过元学习获得领域特定预条件器（Domain-Specific Preconditioners, DSPs），这些预条件器能够捕捉每个元训练领域的特征，然后使用任务系数线性组合这些预条件器以形成任务特定预条件器。该预条件器应用于梯度下降过程中，使优化过程能够适应目标任务。我们限制预条件器为正定矩阵，从而引导预条件梯度向最速下降方向收敛。在Meta-Dataset上的实证评估表明，TSP在多种实验场景中均达到了最先进的性能。