3 个月前

挖掘两阶段与单阶段HOI检测的优势

挖掘两阶段与单阶段HOI检测的优势

摘要

多年来,两阶段方法在人体-物体交互(Human-Object Interaction, HOI)检测领域占据主导地位。近年来,单阶段HOI检测方法逐渐兴起并受到广泛关注。本文旨在深入探讨两阶段与单阶段方法的本质优劣。基于这一目标,我们发现传统两阶段方法主要面临的问题在于准确定位具有交互关系的人体-物体配对,而单阶段方法则难以在多任务学习(包括目标检测与交互分类)之间实现恰当的权衡。因此,一个核心问题是如何汲取两类方法的精华,摒弃其不足之处。为解决这一问题,我们提出一种新型的单阶段框架,采用级联(cascade)方式解耦人体-物体检测与交互分类任务。具体而言,我们首先基于先进的单阶段HOI检测器,通过移除其交互分类模块(head),设计一个高效的人体-物体配对生成器;随后,构建一个相对独立的交互分类器,用于对生成的每一对人体-物体进行分类。在所提出的框架中,两个级联解码器分别专注于单一任务——检测或交互分类,从而提升各任务的性能表现。在实现层面,我们采用基于Transformer的HOI检测器作为基础模型。所提出的解耦范式在HICO-Det数据集上取得了显著提升,相对mAP提升高达9.32%,大幅超越现有方法。相关源代码已开源,地址为:https://github.com/YueLiao/CDN。

代码仓库

YueLiao/CDN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
human-object-interaction-detection-on-hicoCDN (ResNet101)
mAP: 32.07
human-object-interaction-detection-on-v-cocoCDN (ResNet101)
AP(S1): 63.91
AP(S2): 65.89

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
挖掘两阶段与单阶段HOI检测的优势 | 论文 | HyperAI超神经