摘要

近期的成功表明，参数高效的微调基础模型已成为视觉领域迁移学习的最先进方法，逐渐取代了诸如元学习等丰富的替代方案。为了结合两者的优点，元调优引入了一个基础模型后续优化阶段，但迄今为止仅显示出有限的成功，并且在分布外（OOD）任务上表现不佳。本文中，我们提出了一种受稀疏专家混合方法启发的新方法——稀疏元调优（Sparse MetA-Tuning, SMAT），该方法通过训练自动隔离每个任务中的预训练参数子集来进行元调优。SMAT 成功克服了对 OOD 任务的敏感性，并实现了超越参数高效微调的视觉基础模型迁移能力的提升。我们在零样本和基于梯度的适应设置下，针对 Meta-Dataset 及其附加的 OOD 任务组合建立了新的最先进结果。此外，我们还详细分析了学习到的稀疏模式相对于手工设计的稀疏模式在稀疏专家方法中的优越性，以及稀疏水平在平衡分布内和分布外泛化性能中的关键作用。我们的代码已公开发布。