摘要

推理人类与物体的互动（Human-Object Interactions, HOI）对于更深入地理解场景至关重要，而物体的功能（或功能属性，Affordances）对于人类发现未见过的新型HOI尤为重要。受此启发，我们提出了一种功能转移学习方法，用于同时检测包含新型物体的HOI并识别其功能属性。具体而言，HOI表示可以被解耦为功能属性表示和物体表示的组合，这使得通过结合额外图像中的功能属性表示和新型物体表示来组成新的互动成为可能，即把功能属性转移到新型物体上。借助所提出的功能转移学习方法，模型还能够从已知的功能属性表示中推断出新型物体的功能属性。因此，该方法可用于1）提高HOI检测的性能，特别是对于包含未见过物体的HOI；以及2）推断新型物体的功能属性。在HICO-DET和HOI-COCO（来自V-COCO）两个数据集上的实验结果表明，该方法在HOI检测和物体功能属性检测方面显著优于近期的最先进方法。代码可在https://github.com/zhihou7/HOI-CL 获取。