摘要

我们的目标是在这项工作中训练一个生成更加密集和信息丰富的图像描述模型。我们引入了一种新的图像描述任务——“关系描述”（relational captioning），该任务旨在根据图像中物体之间的关系生成多个描述。关系描述框架在多样性和信息量方面具有优势，有助于基于关系的图像理解。每个英语单词都可以分配词性（POS，即主语-宾语-谓语类别）标签。我们利用词性作为先验知识来引导描述中的正确词汇序列。为此，我们提出了一种多任务三流网络（MTTSNet），该网络由三个分别对应不同词性的循环单元组成，并联合执行词性预测和图像描述任务。我们展示了所提出的模型相对于几个基线方法和竞争方法生成了更多样化和更丰富的表示。