摘要

无类别计数（Class-agnostic Counting, CAC）旨在仅通过少量样本（exemplars）对查询图像中的所有目标实例进行计数。标准的处理流程通常包括：从样本图像中提取视觉特征，并将其与查询图像进行匹配，以推断目标数量。该流程中的两个关键组成部分是特征表示与相似性度量。现有方法要么采用预训练网络进行特征表示，要么学习新的特征表示方式，但普遍使用基于固定内积的简单相似性度量。我们发现，这一范式会导致相似性匹配过程引入噪声，从而损害计数性能。为此，本文提出一种相似性感知的无类别计数框架（similarity-aware CAC framework），该框架能够联合学习特征表示与相似性度量。我们首先构建一个基础模型——双线性匹配网络（Bilinear Matching Network, BMNet），其核心是可学习的双线性相似性度量。为进一步体现框架的核心思想，我们将BMNet扩展为BMNet+，从三个维度建模相似性：1）通过利用实例自身的自相似性来表示其特征，以增强对类内变化的鲁棒性；2）动态地比较相似性，聚焦于每个样本的关键特征模式；3）引入监督信号进行学习，对匹配结果施加显式约束。在近期提出的CAC数据集FSC147上的大量实验表明，我们的模型显著优于当前最先进的CAC方法。此外，我们还在汽车计数数据集CARPK上验证了BMNet与BMNet+在跨数据集场景下的泛化能力。代码已开源，地址为：tiny.one/BMNet。