3 个月前

类别查询学习用于人-物体交互分类

类别查询学习用于人-物体交互分类

摘要

与以往大多数聚焦于学习更优的人体-物体特征的HOI方法不同,我们提出了一种新颖且具有互补性的方法——类别查询学习(category query learning)。该方法中的查询显式关联于交互类别,通过Transformer解码器将其转化为图像特定的类别表征,并借助一个辅助的图像级分类任务进行学习。这一思想源于早期的多标签图像分类方法,但首次被应用于具有挑战性的人体-物体交互分类任务中。所提方法简洁、通用且高效,在三个具有代表性的HOI基准模型上得到验证,并在两个基准数据集上取得了新的最先进性能。

代码仓库

charles-xie/cql
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
human-object-interaction-detection-on-hicoCQL+GEN-VLKT-L
mAP: 36.03
human-object-interaction-detection-on-hicoCQL+GEN-VLKT-B
mAP: 35.36

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
类别查询学习用于人-物体交互分类 | 论文 | HyperAI超神经