3 个月前

提升领域自适应检测Transformer的可迁移性

提升领域自适应检测Transformer的可迁移性

摘要

DETR类检测器在同域(in-domain)场景中表现突出,但在域偏移(domain shift)设置下的特性仍缺乏深入研究。本文基于两项关键发现,旨在构建一种简单而有效的基线方法,以提升DETR类检测器在域偏移场景下的性能。首先,缓解骨干网络与解码器输出特征之间的域偏移,能够获得更优的检测结果;其次,在上述两个部分引入先进的域对齐方法,可进一步提升模型性能。为此,本文提出两种新型模块:面向目标的对齐模块(Object-Aware Alignment, OAA)与基于最优传输的对齐模块(Optimal Transport-based Alignment, OTA),以实现对骨干网络输出与检测器输出的全面域对齐。OAA模块通过伪标签识别骨干网络输出中的前景区域,并对其进行对齐,从而生成具有域不变特性的特征表示。OTA模块则利用切片Wasserstein距离(sliced Wasserstein distance),在最大限度保留解码器输出中空间位置信息的同时,有效缩小不同域之间的分布差异。我们将上述发现与所提出的对齐模块集成至我们的自适应方法中,从而在域偏移设置下为DETR类检测器建立了一个强有力的基准。在多种域自适应场景下的实验结果充分验证了所提方法的有效性与鲁棒性。

代码仓库

bit-da/o2net
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
unsupervised-domain-adaptation-on-cityscapes-1O2net
mAP@0.5: 46.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
提升领域自适应检测Transformer的可迁移性 | 论文 | HyperAI超神经