摘要

图像段落描述（Image Paragraph Captioning, IPC）旨在生成一段细粒度的文本，以全面描述图像中的视觉内容。近年来，深度神经网络在该任务上取得了显著进展，其中注意力机制发挥了关键作用。然而，传统的注意力机制往往忽略历史对齐信息，导致生成的描述出现重复性或不完整的问题。为此，本文提出一种面向图像段落描述的交互式键值记忆增强注意力模型（Interactive key-value Memory-augmented Attention model for image Paragraph captioning, IMAP），通过追踪注意力历史（即显著物体覆盖信息）与解码器状态更新链，有效避免重复或不完整的图像描述生成。此外，我们引入了一种自适应注意力机制，实现图像区域与描述词之间的灵活对齐：一个图像区域可映射至任意数量的描述词，同时一个描述词也可关注任意数量的图像区域。在标准基准数据集（如Stanford数据集）上的大量实验表明，所提出的IMAP模型具有优异的性能。