摘要

实时三维手部网格重建是一项具有挑战性的任务，尤其在手部持握物体时，遮挡问题尤为严重。与以往方法不同，我们提出了H2ONet，通过充分挖掘多帧图像中未被遮挡的信息，显著提升重建质量。首先，我们将手部网格重建分解为两个并行分支：一个分支用于利用指级（finger-level）的未遮挡信息，另一个分支用于建模整体手部姿态，两个分支均采用轻量化结构，以保障实时推理性能。其次，我们提出指级遮挡感知特征融合机制，利用预测的指级遮挡信息作为引导，实现跨时间帧的指级特征融合。此外，我们进一步设计了手级遮挡感知特征融合策略，从邻近时间帧中提取未遮挡信息，增强全局重建效果。我们在Dex-YCB和HO3D-v2两个具有复杂手物遮挡场景的数据集上进行了实验，结果表明，H2ONet能够在保证实时运行的同时，在手部网格精度和姿态估计精度方面均达到当前最优水平。相关代码将开源至GitHub。