
摘要
面对深度学习模型在域迁移(domain shift)下的脆弱性,无源域适应(Source-Free Domain Adaptation, SFDA)方法应运而生,旨在无需访问源域数据的情况下,将模型适应至新的、未见的目标域。尽管将数据增强技术应用于SFDA具有显著潜力,但仍面临诸多挑战,例如对类别保持变换(class-preserving transformations)的先验知识依赖,以及随之带来的内存与计算开销增加问题。本文提出一种名为“通过数据增强视角实现的无源域适应”(Source-free Domain Adaptation Through the Lens of Data Augmentation, SF(DA)²)的新方法,该方法在充分利用数据增强优势的同时,有效规避了上述挑战。我们基于预训练模型特征空间中目标域样本之间的邻近关系,构建了一个增强图(augmentation graph),并引入谱邻域聚类(spectral neighborhood clustering)技术,以识别预测空间中的潜在划分区域。此外,我们设计了隐式特征增强(implicit feature augmentation)与特征解耦(feature disentanglement)作为正则化损失函数,充分挖掘特征空间中的类别语义信息。这些正则化项在不显著增加计算与内存负担的前提下,模拟了将无限数量的增强后目标特征融入增强图的效果。实验结果表明,所提方法在多种SFDA场景下均表现出卓越的适应性能,涵盖二维图像数据集、三维点云数据集以及高度不平衡的数据集,验证了其在复杂现实场景中的有效性与鲁棒性。
代码仓库
shinyflight/sfda2
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| domain-adaptation-on-domainnet-1 | SFDA2 | Accuracy: 68.3 |
| domain-adaptation-on-office-31 | SFDA2 | Average Accuracy: 89.9 |
| domain-adaptation-on-visda2017 | SFDA2++ | Accuracy: 89.6 |
| domain-adaptation-on-visda2017 | SFDA2 | Accuracy: 88.1 |
| source-free-domain-adaptation-on-visda-2017 | SFDA2++ | Accuracy: 89.6 |
| source-free-domain-adaptation-on-visda-2017 | SFDA2 | Accuracy: 88.1 |
| unsupervised-domain-adaptation-on-visda2017 | SFDA2 | Accuracy: 88.1 |
| unsupervised-domain-adaptation-on-visda2017 | SFDA2++ | Accuracy: 89.6 |