摘要

在低标签环境下解决图像多标签识别（MLR）是一项具有许多实际应用的挑战性任务。近期的研究通过学习文本空间和视觉空间之间的对齐来弥补图像标签的不足，但由于可用的多标签识别注释数量有限，导致精度下降。在这项工作中，我们利用了数百万辅助图像-文本对预训练得到的文本和视觉特征之间的强对齐关系，并提出了双上下文优化（DualCoOp）作为部分标签MLR和零样本MLR的统一框架。DualCoOp 使用类别名称作为语言输入（即提示）的一部分来编码正负上下文。由于 DualCoOp 在预训练的视觉-语言框架上仅引入了非常轻量的学习开销，因此可以快速适应注释有限甚至未见过的类别的多标签识别任务。在两个具有挑战性的低标签设置下，针对标准多标签识别基准进行的实验表明，我们的方法优于现有的最先进方法。