3 个月前

通过MLLM引导的基于可靠性课程学习的无源域自适应赋能

通过MLLM引导的基于可靠性课程学习的无源域自适应赋能

摘要

无源域适应(Source-Free Domain Adaptation, SFDA)旨在仅利用未标注的目标域数据,将预训练的源模型适配到目标域。当前的SFDA方法在有效利用预训练知识以及充分挖掘目标域数据方面仍面临挑战。多模态大语言模型(Multimodal Large Language Models, MLLMs)在理解视觉与文本信息方面展现出卓越能力,但其在SFDA任务中的应用仍存在诸多问题,例如指令遵循失败、计算资源需求高,以及在适应前难以准确评估性能等。为缓解上述问题,我们提出了一种新颖的框架——基于可靠性的课程学习(Reliability-based Curriculum Learning, RCL),该框架通过伪标签机制,协同多个MLLM实现对目标域知识的高效挖掘。RCL框架融合了三项核心技术:可靠知识迁移、自校正与MLLM引导的知识扩展,以及多热掩码精炼,从而逐步挖掘并利用目标域中的未标注数据。实验结果表明,RCL在多个SFDA基准测试中均取得了当前最优(SOTA)性能,例如在DomainNet数据集上提升了9.4%,充分验证了其在不依赖源数据的前提下,显著增强模型适应性与鲁棒性的能力。相关代码已开源,访问地址为:https://github.com/Dong-Jie-Chen/RCL。

代码仓库

Dong-Jie-Chen/RCL
官方
GitHub 中提及

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过MLLM引导的基于可靠性课程学习的无源域自适应赋能 | 论文 | HyperAI超神经