摘要

理解人类如何通过身体接触与世界互动是实现以人为中心的人工智能的关键。虽然推断三维接触对于建模真实且物理上合理的物体-人体交互至关重要，但现有的方法要么专注于二维，要么考虑关节而非表面，要么使用粗糙的三维身体区域，或者无法推广到野外图像。相比之下，我们关注的是在任意图像中推断全身表面与物体之间的密集三维接触。为此，我们首先收集了DAMON（Dense Annotation of Multi-Object and multi-human cONtact），这是一个包含密集顶点级接触注释的新数据集，配以包含复杂物体-人体和场景-人体接触的RGB图像。其次，我们训练了DECO（Dense Contact Estimator），这是一种新颖的三维接触检测器，它利用身体部位驱动和场景上下文驱动的注意力机制来估计SMPL模型上的顶点级接触。DECO基于这样的见解：人类观察者通过推理接触的身体部位、这些部位与场景中物体的距离以及周围场景的上下文来识别接触。我们在DAMON数据集以及RICH和BEHAVE数据集上对我们的检测器进行了广泛的评估。结果表明，在所有基准测试中，我们的方法显著优于现有的最先进方法。此外，我们还定性地展示了DECO能够很好地推广到自然图像中多样化且具有挑战性的真实世界人体交互。代码、数据和模型可在https://deco.is.tue.mpg.de 获取。