摘要

近期，3D手部重建在人机协作领域受到了更多关注，特别是在手-物体交互场景中。然而，由于交互过程中严重的手部遮挡问题，这一领域仍面临巨大挑战，包括准确性和物理合理性之间的平衡、模型参数的高度非线性映射以及遮挡特征的增强。为了解决这些问题，我们提出了一种结合基于模型和无模型方法优势的3D手部重建网络，以在手-物体交互场景中平衡准确性和物理合理性。首先，我们介绍了一种从2D关节直接回归MANO姿态参数的新模块，该模块避免了从抽象图像特征到高度非线性映射的过程，并且不再依赖于精确的3D关节。此外，我们进一步提出了一种由MANO引导的顶点-关节互图注意力模型（Vertex-Joint Mutual Graph-Attention Model），用于联合优化手部网格和关节。该模型描述了顶点与顶点之间、关节与关节之间的依赖关系，并分别捕捉了顶点与关节之间的相关性，以聚合图内节点特征和图间节点特征。实验结果表明，我们的方法在最近的基准数据集HO3DV2和Dex-YCB上取得了具有竞争力的表现，并且优于所有仅基于模型的方法和无模型方法。