摘要

在本工作中，我们提出了一种用于多标签零样本学习的共享多注意力模型。我们认为，在图像中识别多个已见与未见标签的注意力机制设计是一项具有挑战性的任务，原因在于：一方面，缺乏用于定位未见标签的训练信号；另一方面，一张图像中仅包含数千个可能标签中的少数几个实际存在的标签，需要被重点关注。因此，我们不直接为未见标签生成注意力，因为这些标签的行为未知，且在缺乏任何训练样本的情况下，容易聚焦于无关区域。相反，我们让未见标签从一组共享的注意力中进行选择，这些共享注意力通过我们提出的新型损失函数进行训练，使其具备标签无关性，并仅聚焦于相关或前景区域。最后，我们学习一个兼容性函数，基于所选注意力来区分不同标签。此外，我们进一步提出了一种新型损失函数，包含三个组成部分，旨在引导注意力关注多样化且相关的图像区域，同时充分利用所有注意力特征。通过大量实验验证，我们的方法在NUS-WIDE数据集和大规模Open Images数据集上的F1分数分别提升了2.9%和1.4%，显著优于现有最先进方法。