摘要

有符号距离函数（SDFs）是一种具有吸引力的框架，近年来在从图像中进行3D形状重建方面展现出令人鼓舞的结果。SDFs可以无缝地推广到不同的形状分辨率和拓扑结构，但缺乏对底层3D几何结构的显式建模。在这项工作中，我们利用手部结构并将其作为基于SDF的形状重建的指导。具体而言，我们解决了从单目RGB图像中重建手部和被操纵物体的问题。为此，我们估计了手部和物体的姿态，并利用这些姿态来引导3D重建。更具体地说，我们预测了姿态变换的运动链，并将SDFs与高度关节化的手部姿态对齐。通过几何对齐改进了3D点的视觉特征，并进一步利用时间信息增强了对遮挡和运动模糊的鲁棒性。我们在具有挑战性的ObMan和DexYCB基准数据集上进行了广泛的实验，展示了所提出方法相对于现有技术的重大改进。