摘要

基于回归的方法在从单目图像重建人体网格方面最近展现出令人鼓舞的结果。通过直接将原始像素映射到模型参数，这些方法可以通过神经网络以前馈的方式生成参数化模型。然而，参数的微小偏差可能导致估计的网格与图像证据之间出现明显的错位。为了解决这一问题，我们提出了一种金字塔网格对齐反馈（PyMAF）循环，利用特征金字塔并根据网格-图像对齐状态显式地修正预测参数。在PyMAF中，给定当前预测的参数，将从更高分辨率的特征中相应地提取网格对齐的证据，并将其反馈用于参数修正。为了减少噪声并增强这些证据的可靠性，我们在特征编码器上施加了辅助像素级监督，这为我们的网络提供了网格-图像对应关系指导，使其能够在空间特征中保留最相关的信息。我们的方法在多个基准测试集上进行了验证，包括Human3.6M、3DPW、LSP和COCO，实验结果表明我们的方法能够持续改善重建的网格-图像对齐效果。项目页面及代码和视频结果可访问 https://hongwenzhang.github.io/pymaf 查看。