摘要

本文提出了一种受子空间启发的低秩适配（Low-Rank Adaptation, LoRA）方法，该方法计算高效、实现简便，且可直接应用于大型语言模型、多模态模型以及扩散模型。我们首先将LoRA的权重等价地分解为两个子空间，并发现简单地对这两个子空间进行混合即可提升模型性能。为进一步探究这一现象，我们通过细粒度的子空间视角重新审视该过程，发现此类操作等价于采用一个固定的混合器（mixer）对子空间进行融合。为进一步增强灵活性，我们联合学习该混合器与原始LoRA权重，提出一种新的方法——子空间混合LoRA（Mixture-of-Subspaces LoRA, MoSLoRA）。实验结果表明，MoSLoRA在多种模态的任务中均持续优于标准LoRA，涵盖常识推理、视觉指令微调以及基于主题驱动的文本到图像生成任务，充分验证了其有效性与鲁棒性。相关代码已开源，地址为：https://github.com/wutaiqiang/MoSLoRA{github}。