摘要

标注大规模数据集成本高昂。主动学习通过仅选择未标注数据集中最具信息量的样本进行标注，以应对这一挑战。本文提出一种新颖的主动学习方法，该方法结合自监督预训练任务与一种独特的数据采样机制，旨在选取既具有挑战性又具代表性的样本。我们发现，一个简单的自监督预训练任务（如旋转预测）的损失值与下游任务的损失值之间存在密切关联。在主动学习迭代开始前，预训练任务模型在未标注数据集上进行训练，并根据其在预训练任务上的损失值对未标注数据进行排序，随后划分为多个批次。在每次主动学习迭代中，主任务模型从每个批次中采样不确定性最高的样本进行人工标注。我们在多个图像分类与分割基准数据集上评估了该方法，结果在CIFAR-10、Caltech-101、ImageNet和Cityscapes上均取得了优异的性能。此外，我们还证明该方法在数据分布不均衡的数据集上表现良好，能够有效缓解主动学习中的冷启动问题——即初始标注集随机选取对模型性能造成不利影响的问题。