4 个月前

日常场景中日常物品的计数

日常场景中日常物品的计数

摘要

我们对统计自然场景中物体类别实例的数量感兴趣。以往的计数方法主要集中在特定领域,例如在监控视频中统计行人数量。计数也可以从其他视觉任务(如目标检测)的输出中进行估算。在这项工作中,我们构建了专门用于计数的模型,旨在应对自然场景中物体数量、外观和尺度的巨大变化。我们的方法受到子觉现象的启发——即人类能够在感知信号下快速评估小数量值的能力。对于给定的自然场景,我们采用了分而治之的策略,并结合整个场景的上下文来适应子觉计数的思想。我们的方法在PASCAL VOC 2007和COCO数据集上的计数任务中相比多个基线方法提供了持续的改进。随后,我们研究了如何利用计数来提高目标检测的效果。最后,我们通过研究VQA和COCO-QA数据集中“有多少?”类问题,展示了我们的计数方法在视觉问答任务中的概念验证应用。

代码仓库

基准测试

基准方法指标
object-counting-on-coco-count-testglance-ft-2L
m-reIRMSE: 0.23
m-reIRMSE-nz: 0.91
mRMSE: 0.42
mRMSE-nz: 2.25
object-counting-on-coco-count-testFast-RCNN
m-reIRMSE: 0.20
m-reIRMSE-nz: 1.13
mRMSE: 0.49
mRMSE-nz: 2.78
object-counting-on-coco-count-testSeq-sub-ft-3x3
m-reIRMSE: 0.18
m-reIRMSE-nz: 0.82
mRMSE: 0.35
mRMSE-nz: 1.96
object-counting-on-coco-count-testens
m-reIRMSE: 0.18
m-reIRMSE-nz: 0.81
mRMSE: 0.36
mRMSE-nz: 1.98
object-counting-on-coco-count-testAso-sub-ft-3x3
m-reIRMSE: 0.24
m-reIRMSE-nz: 0.87
mRMSE: 0.38
mRMSE-nz: 2.08
object-counting-on-pascal-vocCEOES
mRMSE: 0.42
object-counting-on-pascal-voc-2007-count-testglance-noft-2L
m-reIRMSE-nz: 0.73
m-relRMSE: 0.27
mRMSE: 0.50
mRMSE-nz: 1.83
object-counting-on-pascal-voc-2007-count-testSeq-sub-ft-3x3
m-reIRMSE-nz: 0.68
m-relRMSE: 0.22
mRMSE: 0.43
mRMSE-nz: 1.65
object-counting-on-pascal-voc-2007-count-testens
m-reIRMSE-nz: 0.65
m-relRMSE: 0.20
mRMSE: 0.42
mRMSE-nz: 1.68
object-counting-on-pascal-voc-2007-count-testFast-RCNN
m-reIRMSE-nz: 0.85
m-relRMSE: 0.26
mRMSE: 0.50
mRMSE-nz: 1.92

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
日常场景中日常物品的计数 | 论文 | HyperAI超神经