摘要

理解视觉关系涉及识别主体、客体以及连接它们的谓语。我们利用谓语与（主体，客体）对之间的强相关性（无论是语义上还是空间上），以主体和客体为条件预测谓语。联合建模这三个实体能更准确地反映它们之间的关系，但同时也增加了学习的复杂性，因为视觉关系的语义空间非常庞大，而训练数据有限，尤其是对于那些实例较少的长尾关系。为了克服这一问题，我们使用语言统计知识来正则化视觉模型的学习过程。我们通过从训练注释（内部知识）和公开可用的文本资源（如维基百科）中挖掘语言知识，计算给定（主体，客体）对时谓语的条件概率分布。然后，我们将这些知识提炼到深度模型中，以实现更好的泛化能力。我们在Visual Relationship Detection (VRD) 和 Visual Genome 数据集上的实验结果表明，通过这种语言知识蒸馏方法，我们的模型显著优于现有最先进的方法，特别是在预测未见过的关系方面（例如，在VRD零样本测试集上召回率从8.45%提高到19.17%）。