3 个月前

基于选择性查询回忆的查询驱动目标检测增强训练

基于选择性查询回忆的查询驱动目标检测增强训练

摘要

本文研究了一种现象:基于查询(query-based)的目标检测器在解码的最后阶段出现误预测,而在中间阶段却能正确预测。我们回顾了训练过程,发现这一被忽视的现象主要归因于两个局限:训练过程中对后期阶段的关注不足,以及解码序列中误差的级联传播。为此,我们设计并提出了一种简单而有效的训练策略——选择性查询回收(Selective Query Recollection, SQR),专用于基于查询的目标检测器。SQR在解码过程逐步深入的过程中,持续收集中间阶段的查询,并在不依赖传统顺序结构的前提下,有选择性地将这些中间查询传递至后续阶段。该机制使训练过程更聚焦于模型的后期阶段,同时允许后期阶段直接利用早期阶段的中间查询信息,从而提升推理能力。SQR可无缝集成到多种基于查询的目标检测器中,显著提升其性能,且无需修改推理流程。我们在Adamixer、DAB-DETR和Deformable-DETR等多种模型上,于不同设置(包括骨干网络、查询数量、训练调度策略等)下应用SQR,均取得了稳定且显著的性能提升,平均检测精度(AP)提升达1.4至2.8个百分点。

代码仓库

fangyi-chen/sqr
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
object-detection-on-coco-2017-valSQR-Adamixer-R101
AP: 49.8
object-detection-on-coco-2017-valSQR-Adamixer-R50
AP: 48.9

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于选择性查询回忆的查询驱动目标检测增强训练 | 论文 | HyperAI超神经