摘要

本文研究了任务适应性预训练模型选择问题，这是一个尚未充分探索的问题，即在不进行微调的情况下评估目标任务的预训练模型并从模型库中选择最佳模型。一些初步的研究工作已经解决了监督预训练模型向分类任务迁移的问题，但它们无法处理新兴的无监督预训练模型或回归任务。为了追求一种实用的评估方法，我们提出估计由预训练模型提取的特征所给出的标签证据的最大值。与最大似然不同，最大证据对过拟合具有免疫性，而其昂贵的计算成本可以通过我们精心设计的算法大幅降低。对数最大证据（LogME）可以用于评估预训练模型在迁移学习中的表现：具有高LogME值的预训练模型很可能具备良好的迁移性能。LogME具有快速、准确和通用的特点，成为首个实用的预训练模型评估方法。与暴力微调相比，LogME最多可将实际运行时间加速3000倍，并且仅需1%的内存占用。它在其设定下显著优于先前的方法，并适用于新的设定。该方法足够通用，适用于多种预训练模型（包括监督预训练和无监督预训练）、下游任务（包括分类和回归）以及模态（包括视觉和语言）。代码可在以下仓库获取：\href{https://github.com/thuml/LogME}{https://github.com/thuml/LogME}。