摘要

著名的词语类比实验表明，近年来的词向量能够通过线性向量偏移捕捉词语间的细微语言规律。然而，目前尚不清楚简单的向量偏移在编码词语间的视觉规律方面表现如何。本文研究了一种特定的图像-词语相关性关系。实验结果表明，在词向量空间中，与给定图像相关的标签词向量沿主方向排列，其排序优于无关标签。受此现象启发，我们提出通过估计图像的主方向来解决图像标注问题。具体而言，我们采用线性映射和非线性深度神经网络从输入图像中逼近该主方向，从而构建出一个高度通用的标注模型。该模型在测试图像上的推理速度极快，其时间复杂度与训练集规模无关（即常数时间）。该模型不仅在NUS-WIDE数据集上的传统标注任务中表现优异，而且在为图像标注此前未见标签（即零样本标注）时，也显著优于现有竞争性基线方法。