摘要

近年来，随着预训练模型数量的不断增加，如何为特定的下游分类任务选择最佳预训练检查点的问题逐渐受到更多关注。尽管已有一些方法被提出以解决这一选择问题（例如 LEEP、H-score），但这些方法大多依赖于缺乏学习理论支持的启发式策略。本文介绍了 PACTran，一种基于理论的预训练模型选择和迁移性测量指标系列。我们首先展示了如何在迁移学习设置下从最优 PAC-Bayesian 界推导出 PACTran 指标。然后，我们在多个视觉任务（VTAB）以及一个语言与视觉结合的任务（OKVQA）上对 PACTran 的三种具体实现进行了实证评估。结果分析表明，PACTran 相比现有的选择方法，在衡量迁移性方面更加一致和有效。