摘要

以往大多数从图像中感知三维人体的工作均将人体视为孤立个体，忽略其周围环境。然而，人类始终与周围物体持续互动，因此亟需能够同时建模人体、物体及其交互关系的模型。这一问题极具挑战性，主要源于人体与物体之间严重的遮挡、交互类型的多样性以及深度信息的模糊性。本文提出一种名为 CHORE 的新方法，能够从单张RGB图像中联合重建人体与物体。CHORE 受益于隐式表面学习的最新进展以及经典基于模型的拟合方法。我们通过两个无符号距离场（unsigned distance fields）隐式表示人体与物体的神经重建，同时引入对应场（correspondence field）以关联参数化人体模型，并引入物体姿态场（object pose field）来建模物体的三维姿态。该设计使我们能够在建模人体与物体的同时，有效推理其交互关系。此外，以往基于像素对齐的隐式学习方法通常依赖合成数据，并依赖于在真实数据中并不成立的假设。为此，我们提出一种简洁而有效的深度感知缩放机制，显著提升了在真实数据上的形状学习效率。实验结果表明，采用所提出策略训练的联合重建方法显著优于现有最先进水平。相关代码与模型已公开，详见：https://virtualhumans.mpi-inf.mpg.de/chore