摘要

理解视频中的人-物交互（HOIs）对于全面理解视觉场景至关重要。这一研究方向已经通过从图像中检测HOIs以及最近从视频中检测HOIs得到了关注。然而，第三人称视角下的基于视频的HOI预测任务仍然研究不足。在本文中，我们设计了一个框架来检测当前的HOIs并预测未来的HOIs。我们提出利用人类的注视信息，因为人们通常在与某个物体互动之前会注视该物体。这些注视特征与场景上下文以及人-物对的视觉外观通过时空变换器进行融合。为了在多人情景下评估模型在HOI预测任务中的表现，我们提出了一套逐人的多标签指标。我们的模型在VidHOI数据集上进行了训练和验证，该数据集包含捕捉日常生活场景的视频，目前是最大的视频HOI数据集。实验结果表明，在HOI检测任务中，我们的方法相对基线模型提高了36.3%的效果。此外，我们进行了广泛的消融研究，以证明对时空变换器所做的修改和扩展的有效性。我们的代码已公开发布在https://github.com/nizhf/hoi-prediction-gaze-transformer。