
摘要
我们对统计自然场景中物体类别实例的数量感兴趣。以往的计数方法主要集中在特定领域,例如在监控视频中统计行人数量。计数也可以从其他视觉任务(如目标检测)的输出中进行估算。在这项工作中,我们构建了专门用于计数的模型,旨在应对自然场景中物体数量、外观和尺度的巨大变化。我们的方法受到子觉现象的启发——即人类能够在感知信号下快速评估小数量值的能力。对于给定的自然场景,我们采用了分而治之的策略,并结合整个场景的上下文来适应子觉计数的思想。我们的方法在PASCAL VOC 2007和COCO数据集上的计数任务中相比多个基线方法提供了持续的改进。随后,我们研究了如何利用计数来提高目标检测的效果。最后,我们通过研究VQA和COCO-QA数据集中“有多少?”类问题,展示了我们的计数方法在视觉问答任务中的概念验证应用。
代码仓库
prithv1/cvpr2017_counting
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| object-counting-on-coco-count-test | glance-ft-2L | m-reIRMSE: 0.23 m-reIRMSE-nz: 0.91 mRMSE: 0.42 mRMSE-nz: 2.25 |
| object-counting-on-coco-count-test | Fast-RCNN | m-reIRMSE: 0.20 m-reIRMSE-nz: 1.13 mRMSE: 0.49 mRMSE-nz: 2.78 |
| object-counting-on-coco-count-test | Seq-sub-ft-3x3 | m-reIRMSE: 0.18 m-reIRMSE-nz: 0.82 mRMSE: 0.35 mRMSE-nz: 1.96 |
| object-counting-on-coco-count-test | ens | m-reIRMSE: 0.18 m-reIRMSE-nz: 0.81 mRMSE: 0.36 mRMSE-nz: 1.98 |
| object-counting-on-coco-count-test | Aso-sub-ft-3x3 | m-reIRMSE: 0.24 m-reIRMSE-nz: 0.87 mRMSE: 0.38 mRMSE-nz: 2.08 |
| object-counting-on-pascal-voc | CEOES | mRMSE: 0.42 |
| object-counting-on-pascal-voc-2007-count-test | glance-noft-2L | m-reIRMSE-nz: 0.73 m-relRMSE: 0.27 mRMSE: 0.50 mRMSE-nz: 1.83 |
| object-counting-on-pascal-voc-2007-count-test | Seq-sub-ft-3x3 | m-reIRMSE-nz: 0.68 m-relRMSE: 0.22 mRMSE: 0.43 mRMSE-nz: 1.65 |
| object-counting-on-pascal-voc-2007-count-test | ens | m-reIRMSE-nz: 0.65 m-relRMSE: 0.20 mRMSE: 0.42 mRMSE-nz: 1.68 |
| object-counting-on-pascal-voc-2007-count-test | Fast-RCNN | m-reIRMSE-nz: 0.85 m-relRMSE: 0.26 mRMSE: 0.50 mRMSE-nz: 1.92 |