摘要

根据用户意图生成图像描述是一项新兴需求。近期发布的《Localized Narratives》数据集将鼠标轨迹作为图像描述任务的额外输入，为用户控制图像中应描述的内容提供了一种直观且高效的方式。然而，如何有效利用轨迹信息以提升生成质量与可控性，仍是亟待探索的问题。本文提出一种名为LoopCAG的新模型，通过以循环方式连接对比学习（Contrastive Constraints）与注意力引导（Attention Guidance），在生成过程中显式引入空间与时间约束。具体而言，模型采用对比学习策略，将每个生成的句子在时间上对齐至对应的轨迹序列；同时，借助启发式空间注意力引导，监督每个生成的文本词元（token）关注正确的视觉对象。大量实验结果表明，LoopCAG模型能够更好地建模视觉、语言与轨迹三模态之间的对应关系，在轨迹控制的图像描述任务中达到了当前最优（SOTA）性能。此外，通过对生成过程中空间与时间敏感性的分析，进一步验证了LoopCAG模型在可控性与可解释性方面的优势。