摘要

训练神经网络模型以识别图像中的多个标签，包括识别未见过的标签，是一项具有挑战性的任务，尤其是对于包含大量语义多样标签的图像。尽管这项任务充满挑战，但它是必须解决的问题，因为它代表了许多现实世界的情况，例如自然图像的检索。我们认为，仅使用一个嵌入向量来表示图像（这是常见的做法）不足以准确地对相关已见和未见标签进行排序。本研究介绍了一种端到端的多标签零样本学习模型训练方法，该方法支持图像和标签的语义多样性。我们建议使用一个嵌入矩阵，其中主要嵌入向量通过定制的损失函数进行训练。此外，在训练过程中，我们提议在损失函数中增加那些展示更高语义多样性的图像样本的权重，以促进嵌入矩阵的多样性。广泛的实验表明，我们提出的方法在基于标签的图像检索中提高了零样本模型的质量，并在多个常用数据集（如 NUS-Wide、COCO 和 Open Images）上取得了最先进的结果。