摘要

语义图像理解是计算机视觉领域的一项具有挑战性的课题。它不仅要求检测图像中的所有物体，还需识别这些物体之间的所有语义关系。通过检测到的物体、其类别标签以及所发现的关系，可以构建出场景图（scene graph），从而为图像提供一种抽象的语义解释。在以往的研究中，关系识别通常通过求解一个被建模为混合整数线性规划（Mixed-Integer Linear Program, MILP）的分配问题来实现。在本工作中，我们将该优化问题重新诠释为常微分方程（Ordinary Differential Equation, ODE）的形式。所提出的架构通过端到端学习的方式，求解一种神经网络形式的ODE，从而实现场景图推理。该方法在Visual Genome基准数据集上的三个主流任务——场景图生成（SGGen）、场景图分类（SGCls）以及视觉关系检测（PredCls）——上均取得了当前最优的性能表现。