摘要

基础模型正在重新定义人工智能系统的设计方式。如今，从业者普遍采用一种标准流程来构建机器学习解决方案：从一个预训练的基础模型出发，针对目标任务进行权重微调。因此，互联网上涌现出大量针对多种不同任务微调过的基础模型，但这些微调结果彼此孤立，未能相互受益。我们认为，这是一次被错失的机会——因为这些针对特定任务优化的模型蕴含着丰富且多样的特征。为此，本文提出了一种名为“模型罗蒂（Model Ratatouille）”的新策略，旨在复用同一基础模型在多个不同辅助任务上的多次微调结果。具体而言，我们将这些辅助任务的微调权重重新用作目标任务上多个并行微调的初始值；随后，对所有微调后的权重进行平均，得到最终模型。该复用策略的核心思想是：通过利用辅助任务之间的多样性，最大化模型权重的多样性。实验结果表明，该方法在衡量分布外泛化能力的基准测试集DomainBed上，显著提升了现有技术水平。展望未来，本工作推动了一种新兴的可更新机器学习范式的发展，其理念类似于开源软件开发，即社区协同合作，持续、可靠地迭代与更新机器学习模型。相关代码已开源：https://github.com/facebookresearch/ModelRatatouille。