摘要

近年来，将句子与图像进行关联的问题受到了广泛关注。本文在此基础上进一步推进，显著提升了图像标注与基于句子的图像搜索任务的性能。在本研究中，我们采用Fisher向量（Fisher Vector）作为句子的表示方法，通过池化句子中每个词的word2vec嵌入向量来构建该表示。通常情况下，Fisher向量被定义为描述子对高斯混合模型（GMM）参数的对数似然梯度。本文提出了两种新的混合模型，并推导了其相应的期望最大化（EM）算法与Fisher向量表达式。第一种是拉普拉斯混合模型（Laplacian Mixture Model, LMM），其基于拉普拉斯分布；第二种是高斯-拉普拉斯混合模型（Hybrid Gaussian-Laplacian Mixture Model, HGLMM），该模型基于高斯分布与拉普拉斯分布的加权几何平均。最终，通过使用基于HGLMM所推导出的新Fisher向量来表示句子，我们在四个基准数据集（Pascal1K、Flickr8K、Flickr30K和COCO）上均取得了当前最先进的性能，显著提升了图像标注与基于句子的图像搜索任务的准确率。