
摘要
跨域目标检测具有挑战性,其核心在于对齐有标签的源域与无标签的目标域。以往的方法通常采用对抗训练,在图像级和实例级两个层面实现特征对齐。在实例级对齐中,找到与目标样本相匹配的合适源样本至关重要。一个源样本被认为是合适的,当它仅在域属性上与目标样本不同,而在诸如方向、颜色等无关特征上保持一致,因为这些无关差异会干扰模型对域差异的聚焦。然而,现有实例级特征对齐方法在寻找合适源实例时面临困难,原因在于其搜索范围被限制在小批量(mini-batch)内。由于小批量通常规模较小,往往无法包含合适的源实例。当目标实例具有较高的类内变异性时,小批量的多样性不足问题尤为突出。为解决这一问题,本文提出一种基于记忆机制的实例级域自适应框架。该方法通过从记忆存储中检索与目标实例同类别且最相似的源实例,实现二者对齐。具体而言,我们引入一个记忆模块,动态存储所有有标签源实例的池化特征,并按类别进行分类管理;同时,设计了一个简单而有效的记忆检索模块,用于为目标实例检索一组匹配的记忆槽。在多种域偏移场景下的实验结果表明,所提方法显著优于现有的非记忆型方法。
代码仓库
hitachi-rd-cv/MILA
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| unsupervised-domain-adaptation-on-sim10k-to-3 | MILA | mAP@0.5: 57.4 |