摘要

人与物体的接触是理解人类如何物理互动的重要线索。然而，利用人与物体的接触信息从单张图像中联合重建三维人体和物体尚未得到广泛探索。在本研究中，我们提出了一种新颖的联合三维人体-物体重建方法（CONTHO），该方法能够有效利用人与物体之间的接触信息。我们的系统包含两个核心设计：1）三维引导的接触估计；2）基于接触的三维人体和物体精炼。首先，为了实现精确的人体-物体接触估计，CONTHO 初始重建三维人体和物体，并将其作为显式的三维引导用于接触估计。其次，为了精炼初始重建的三维人体和物体，我们提出了一种基于接触的新颖精炼 Transformer，该 Transformer 能够根据估计的人体-物体接触有效地聚合人体特征和物体特征。所提出的基于接触的精炼方法防止了人体和物体之间错误相关性的学习，从而实现了准确的三维重建。因此，我们的 CONTHO 在人体-物体接触估计和联合三维人体-物体重建方面均达到了最先进的性能。代码已公开发布于 https://github.com/dqj5182/CONTHO_RELEASE。