摘要

图像中的文本包含丰富的高层语义信息，可被用于实现更深入的图像理解。特别是，文本的存在本身便提供了强有力的引导性内容，可用于解决多种计算机视觉任务，如图像检索、细粒度分类以及视觉问答等。本文通过结合文本信息与视觉线索，深入挖掘两种模态之间的内在关联，致力于解决细粒度分类与图像检索问题。所提出的模型创新之处在于：采用PHOC（字符位置直方图）描述子构建文本词袋表示，并结合Fisher向量编码以捕捉文本的形态特征。该方法为任务提供了更为强大的多模态表征能力。实验结果表明，该方法在细粒度分类与图像检索两个任务上均取得了当前最优（state-of-the-art）的性能表现。