摘要

现有的单目3D密集面部对齐方法在严重遮挡和大视角角度的情况下使用场景受限。最先进的基于3DMM的方法直接回归模型的系数，未能充分利用低级2D空间和语义信息，而这些信息实际上可以为面部形状和方向提供线索。在这项工作中，我们展示了如何通过在图像空间和模型空间中联合建模3D面部几何来解决遮挡和视角角度问题。我们不是直接预测整个面部，而是首先通过密集预测回归可见面部区域的图像空间特征。随后，我们根据可见区域的回归特征预测模型的系数，利用可变形模型提供的全脸几何先验知识来完成不可见区域的建模。我们进一步提出了一种融合网络，该网络结合了图像空间和模型空间预测的优势，在不受约束的场景中实现了高鲁棒性和准确性。得益于所提出的融合模块，我们的方法不仅对遮挡和大俯仰角及滚转角具有鲁棒性（这是我们的图像空间方法的优点），而且对噪声和大偏航角也具有鲁棒性（这是我们的模型空间方法的优点）。全面评估表明，我们的方法相比现有最先进方法具有优越性能。在3D密集面部对齐任务中，我们在AFLW2000-3D数据集上达到了3.80%的NME（归一化均方误差），比最先进方法提高了5.5%。代码可在https://github.com/lhyfst/DSFNet获取。注释：- NME：归一化均方误差 (Normalized Mean Error)- 3DMM：三维形态模型 (3D Morphable Model)