摘要

当前最先进的图像描述生成方法主要集中在改进视觉特征上，而较少关注利用语言的内在属性来提升描述性能。本文指出，词汇的一致性和句子的句法范式对于生成高质量的图像描述同样重要。基于传统的编码器-解码器框架，我们提出了一种反射解码网络（Reflective Decoding Network, RDN）用于图像描述生成，该网络增强了解码器在长序列依赖性和词位置感知方面的能力。我们的模型学会了协同关注视觉特征和文本特征，并同时感知每个词在句子中的相对位置，以最大化生成的描述中所传递的信息量。我们在COCO图像描述数据集上评估了RDN的有效性，并取得了优于先前方法的性能。进一步的实验表明，我们的方法特别适用于需要复杂场景描述的困难案例。