摘要

我们介绍了PyMAF-X，这是一种基于回归的方法，用于从单目图像中恢复参数化的全身模型。这一任务极具挑战性，因为微小的参数偏差可能会导致估计的网格与输入图像之间出现明显的错位。此外，在将特定部位的估计结果整合到全身模型时，现有的解决方案往往会降低对齐质量或产生不自然的手腕姿态。为了解决这些问题，我们在回归网络中提出了一个金字塔网格对齐反馈（PyMAF）循环，以实现高质量的人体网格恢复，并将其扩展为PyMAF-X，用于恢复具有表现力的全身模型。PyMAF的核心思想是利用特征金字塔，并根据网格-图像对齐状态显式地修正预测参数。具体而言，给定当前预测的参数，将从更高分辨率的特征中提取与网格对齐的证据，并反馈用于参数修正。为了增强对齐感知能力，引入了辅助密集监督以提供网格-图像对应指导，同时引入了空间对齐注意力机制，使网络能够感知全局上下文。在将PyMAF扩展到全身网格恢复时，PyMAF-X提出了一种自适应集成策略，在保持特定部位估计结果良好对齐性能的同时生成自然的手腕姿态。我们的方法在多个基准数据集上进行了验证，包括身体、手部、面部和全身网格恢复任务，结果显示PyMAF和PyMAF-X有效提高了网格-图像对齐精度，并取得了新的最先进成果。项目页面及代码和视频结果可访问https://www.liuyebin.com/pymaf-x。