HyperAIHyperAI

Command Palette

Search for a command to run...

课程 LoRA 专家动态混合方法 D-MoLE

Date

5 个月前

课程 LoRA 专家动态混合方法(Dynamic Mixture of Curriculum LoRA Experts,简称 D-MoLE)是由阿里巴巴集团安全部—交互内容安全团队联合清华大学于 2025 年 6 月 13 日提出的一种专为持续多模态指令微调设计的新方法,旨在在有限参数预算下,多模态大语言模型(MLLM)能够持续适应新任务,同时有效保留已有知识。相关论文成果为「Dynamic Mixture of Curriculum LoRA Experts for Continual Multimodal Instruction Tuning」,该论文已被 ICML 2025 收录。

D-MoLE 结合了 LoRA 和 专家混合(Mixture of Experts, MoE)的思想,并引入了课程学习的机制,通过动态地选择和组合不同的 LoRA 模块来适应新任务,同时尽量避免对已有知识的干扰。大量实验表明,D-MoLE 显著优于最先进的基线模型,比最佳基线平均提升 15% 。资料显示,这是首次从架构角度研究 MLLMs 的持续学习问题。

Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
课程 LoRA 专家动态混合方法 D-MoLE | Wiki | HyperAI超神经