3 个月前

H2FA R-CNN:面向跨域弱监督目标检测的全局与分层特征对齐

H2FA R-CNN:面向跨域弱监督目标检测的全局与分层特征对齐

摘要

跨域弱监督目标检测(Cross-domain Weakly Supervised Object Detection, CDWSOD)旨在将检测模型适应到一个全新的目标域,该目标域仅需易于获取的图像级标注。如何实现源域与目标域之间的有效对齐,是决定CDWSOD性能的关键。现有方法通常仅关注检测流程中的部分组件进行域对齐。相比之下,本文认为所有检测组件均具有重要意义,提出了一种整体性与层次化的特征对齐方法——H²FA R-CNN(Holistic and Hierarchical Feature Alignment R-CNN)。H²FA R-CNN在骨干网络特征层面实施两层图像级对齐,在区域建议网络(RPN)和检测头层面则实施两层实例级对齐。这种由粗到精的对齐层次结构与检测流程的执行顺序一致,即自下而上地处理图像级特征与实例级特征。尤为重要的是,本文设计了一种新颖的混合监督机制,用于学习两个实例级对齐过程。该机制使得RPN与检测头能够同时从目标域(弱监督)和源域(全监督)中获取监督信号。通过融合上述多种特征对齐策略,H²FA R-CNN有效缓解了源域与目标域之间的分布差异。实验结果表明,H²FA R-CNN显著提升了跨域目标检测的准确率,并在多个主流基准测试中取得了新的最优性能。代码与预训练模型已开源,地址为:https://github.com/XuYunqiu/H2FA_R-CNN。

基准测试

基准方法指标
weakly-supervised-object-detection-on-1H2FA R-CNN
MAP: 59.9
weakly-supervised-object-detection-on-1H2FA R-CNN (+extra)
MAP: 62.6
weakly-supervised-object-detection-on-2H2FA R-CNN (clipart_test)
MAP: 55.3
weakly-supervised-object-detection-on-2H2FA R-CNN (clipart_all)
MAP: 69.8
weakly-supervised-object-detection-on-comic2kH2FA R-CNN (+extra)
MAP: 53.0
weakly-supervised-object-detection-on-comic2kH2FA R-CNN
MAP: 46.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
H2FA R-CNN:面向跨域弱监督目标检测的全局与分层特征对齐 | 论文 | HyperAI超神经