近期的研究在从单目彩色图像中联合重建手部和被操纵物体方面取得了令人瞩目的进展。现有的方法主要集中在两种替代表示上，即参数化网格或符号距离场（Signed Distance Fields, SDFs）。一方面，参数化模型可以通过先验知识获益，但其形状变形和网格分辨率有限。因此，网格模型可能无法精确重建手部和物体的接触表面等细节。另一方面，基于SDF的方法可以表示任意细节，但缺乏显式的先验知识。在这项工作中，我们旨在利用参数化表示提供的先验知识来改进SDF模型。具体而言，我们提出了一种联合学习框架，该框架将姿态和形状解耦。我们从参数化模型中获取手部和物体的姿态，并将其用于在三维空间中对齐SDFs。我们展示了这种对齐后的SDFs能够更好地专注于重建形状细节，并提高了手部和物体的重建精度。我们在具有挑战性的ObMan和DexYCB基准数据集上评估了我们的方法，并展示了相对于现有技术的重大改进。