4 个月前

用于零样本目标检测的鲁棒区域特征合成器

用于零样本目标检测的鲁棒区域特征合成器

摘要

零样本目标检测旨在利用类别语义向量,在给定无约束测试图像的情况下实现(已见和)未见类别的检测。本研究揭示了该领域的核心挑战:如何合成稳健的区域特征(针对未见对象),使其在类内具有多样性且在类间具有可分离性,从而能够训练出强大的未见对象检测器。为了解决这些挑战,我们构建了一个新颖的零样本目标检测框架,该框架包含一个类内语义发散组件和一个类间结构保持组件。前者用于实现从每个类别语义向量到多个视觉特征的一对多映射,防止将真实的未见对象误分类为图像背景;后者则用于避免合成特征过于分散而导致类间关系和前景-背景关系混淆。为了验证所提出方法的有效性,我们在PASCAL VOC、COCO和DIOR数据集上进行了全面的实验。值得注意的是,我们的方法在PASCAL VOC和COCO数据集上取得了最新的最佳性能,并且是首个在遥感图像中进行零样本目标检测的研究。

代码仓库

HPL123/RRFS
官方
pytorch

基准测试

基准方法指标
zero-shot-object-detection-on-ms-cocoZSD-RRFS
Recall: 62.3
mAP: 19.8
zero-shot-object-detection-on-pascal-voc-07RRFS-ZSD
mAP: 65.50

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于零样本目标检测的鲁棒区域特征合成器 | 论文 | HyperAI超神经