摘要

目标检测、场景图生成和区域描述是三个不同语义层次的场景理解任务，它们相互关联：在图像中检测到的对象基础上生成场景图，并预测对象之间的配对关系；而区域描述则提供了对象、其属性、关系及其他上下文信息的语言描述。在这项工作中，为了利用这些语义层次之间的相互联系，我们提出了一种新的神经网络模型，称为多层场景描述网络（Multi-level Scene Description Network，简称MSDN），以端到端的方式联合解决这三个视觉任务。首先，基于对象的空间和语义连接，使用动态图将对象、短语和描述区域进行对齐。然后，通过该图在三个语义层次的任务之间传递消息，采用特征精炼结构。我们在三个任务上对所学习的模型进行了基准测试，并展示了通过我们提出的方法在三个任务上的联合学习可以带来比先前模型的相互改进。特别是在场景图生成任务上，我们提出的方法超过了现有最先进方法超过3%的性能提升。