摘要

在本文中，我们研究了广义视觉目标计数问题，旨在开发一种计算模型，用于从任意语义类别中计数对象的数量，使用任意数量的“示例”（即零样本或少样本计数）。为此，我们做出了以下四项贡献：(1) 我们引入了一种基于变压器的新架构，称为计数变压器（Counting Transformer, CounTR），该架构通过注意力机制显式捕捉图像块之间的相似性或与给定“示例”的相似性；(2) 我们采用了两阶段训练策略，首先通过自监督学习对模型进行预训练，然后进行有监督的微调；(3) 我们提出了一种简单且可扩展的管道，用于合成包含大量实例或来自不同语义类别的训练图像，明确迫使模型利用给定的“示例”；(4) 我们在大规模计数基准数据集（如FSC-147）上进行了详尽的消融研究，并展示了在零样本和少样本设置下均达到最先进水平的性能。