
摘要
我们提出了一种简单的方法,可以同时重建三维面部结构并提供密集对齐。为了实现这一目标,我们设计了一种称为UV位置图(UV position map)的二维表示方法,该方法在UV空间中记录了完整面部的三维形状,然后训练一个简单的卷积神经网络(Convolutional Neural Network),从单张二维图像回归出该UV位置图。在训练过程中,我们还将在损失函数中集成权重掩码(weight mask),以提高网络性能。我们的方法不依赖任何预先存在的面部模型,能够重建完整的面部几何结构及其语义信息。与此同时,我们的网络非常轻量级,处理一张图像仅需9.8毫秒,这比之前的工作快得多。在多个具有挑战性的数据集上的实验表明,我们的方法在重建和对齐任务上均大幅超越其他最先进方法。
代码仓库
jimmy0087/faceai-master
tf
GitHub 中提及
heathentw/prnet-tf2
tf
GitHub 中提及
YadiraF/PRNet
官方
tf
minoring/PRNet
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-face-reconstruction-on-aflw2000-3d | PRN | Mean NME : 3.9625% |
| 3d-face-reconstruction-on-florence | PRN | Mean NME : 3.7551% |
| 3d-face-reconstruction-on-now-benchmark-1 | PRNet | Mean Reconstruction Error (mm): 1.98 Median Reconstruction Error: 1.50 Stdev Reconstruction Error (mm): 1.88 |
| 3d-face-reconstruction-on-realy | PRNet | @cheek: 1.863 (±0.698) @forehead: 2.429 (±0.588) @mouth: 1.838 (±0.637) @nose: 1.923 (±0.518) all: 2.013 |
| 3d-face-reconstruction-on-realy-side-view | PRNet | @cheek: 1.960 (±0.731) @forehead: 2.445 (±0.570) @mouth: 1.856 (±0.607) @nose: 1.868 (±0.510) all: 2.032 |
| 3d-face-reconstruction-on-stirling-hq-fg2018 | PRNet | Mean Reconstruction Error (mm): 2.06 |
| 3d-face-reconstruction-on-stirling-lq-fg2018 | PRNet | Mean Reconstruction Error (mm): 2.38 |
| face-alignment-on-aflw-lfpa | FPN | Mean NME : 2.93% |
| face-alignment-on-aflw2000-3d | PRN | Balanced NME (2D Sparse Alignment): 3.62% Mean NME(3D Dense Alignment): 4.40% |