摘要
本研究探讨了通过三维可变形模型（3DMM）和三维面部标志的协同过程来预测完整的三维面部几何结构，包括三维对齐、面部朝向和三维面部建模。我们的协同过程利用了3DMM参数和三维标志之间的表示循环。可以从由3DMM参数构建的面部网格中提取并优化三维标志。接下来，我们逆转表示方向，证明从稀疏的三维标志预测3DMM参数可以改善信息流。通过这种方式，我们创建了一个利用三维标志与3DMM参数之间关系的协同过程，它们共同作用以提高性能。我们在面部几何预测的全部任务上广泛验证了这一贡献，并展示了在各种场景下这些任务中的优越性和鲁棒性。特别是，我们仅采用了简单且广泛使用的网络操作，从而实现了快速而准确的面部几何预测。代码和数据：https://choyingw.github.io/works/SynergyNet/
代码仓库
tomas-gajarsky/facetorch
pytorch
GitHub 中提及
Hikaylee/SynergyNet
mindspore
GitHub 中提及
choyingw/SynergyNet
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-face-reconstruction-on-now-benchmark-1 | SynergyNet | Mean Reconstruction Error (mm): 1.59 Median Reconstruction Error: 1.27 Stdev Reconstruction Error (mm): 1.31 |
| 3d-face-reconstruction-on-realy | SynergyNet | @cheek: 1.647 (±0.622) @forehead: 2.679 (±0.741) @mouth: 1.731 (±0.502) @nose: 2.026 (±0.532) all: 2.021 |
| 3d-face-reconstruction-on-realy-side-view | SynergyNet | @cheek: 1.662 (±0.627) @forehead: 2.638 (±0.719) @mouth: 1.725 (±0.533) @nose: 2.008 (±0.526) all: 2.008 |
| face-alignment-on-aflw | SynergyNet | Mean NME: 4.06 |
| face-alignment-on-aflw2000-3d | SynergyNet-Reannotated | Balanced NME (2D Sparse Alignment): 2.65% |
| face-alignment-on-aflw2000-3d | SynergyNet | Balanced NME (2D Sparse Alignment): 3.41% Mean NME(3D Dense Alignment): 4.06% |
| head-pose-estimation-on-aflw2000 | SynergyNet | MAE: 3.35 |