摘要

微调（Fine-tuning）是解决少样本目标检测（Few-Shot Object Detection, FSOD）问题的一种流行方法。本文尝试从一个全新的视角来审视这一问题。我们将少样本新类别任务建模为相对于其真实分布的分布偏移（distribution shift）问题。为此，我们引入了“虚拟占位掩码”（imaginary placeholder masks）的概念，揭示出这种分布偏移本质上是由分布内（In-Distribution, ID）与分布外（Out-of-Distribution, OOD）偏移共同构成的复合结构。实验结果表明，平衡适应可用少样本分布与保持预训练模型分布偏移鲁棒性之间的权衡至关重要。我们从三个维度对少样本微调的迁移性能进行了改进。首先，我们提出线性探针微调（LinearProbe-Finetuning, LP-FT）技术，以有效调和该权衡关系，缓解特征失真问题。其次，我们探索了在基于查询的目标检测器中采用保护性冻结策略（protection freezing strategy）的有效性，以维持其对分布外样本的鲁棒性。第三，我们尝试利用集成方法（ensembling methods）来规避特征失真问题。上述三种技术被整合为一个统一的方法——BIOT（Balanced ID-OOD Transfer）。实验评估结果表明，该方法结构简洁、效果显著，且具有良好的通用性，能够充分挖掘基于查询的目标检测器在少样本检测任务中的潜力。在多种FSOD设置下，BIOT均优于当前最先进的方法，并展现出良好的可扩展性。