
摘要
近年来,基于深度学习的三维人脸重建方法在质量和效率方面均展现出令人鼓舞的结果。然而,训练深度神经网络通常需要大量数据,而带有真实三维人脸形状的图像却十分稀缺。本文提出了一种新颖的深度三维人脸重建方法,该方法具有以下两个特点:1)利用一种稳健的混合损失函数进行弱监督学习,该损失函数同时考虑了低级和感知级信息以提供监督;2)通过利用不同图像中的互补信息进行形状聚合,实现多图像人脸重建。我们的方法快速、准确且对遮挡和大姿态变化具有鲁棒性。我们在三个数据集上进行了全面的实验,系统地将我们的方法与十五种近期方法进行了比较,并展示了其处于国际领先水平的性能。
代码仓库
qiuyu96/carver
pytorch
GitHub 中提及
sicxu/Deep3DFaceRecon_pytorch
pytorch
GitHub 中提及
thu-ml/at3d
pytorch
GitHub 中提及
Microsoft/Deep3DFaceReconstruction
官方
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-face-reconstruction-on-florence | Deep3DFaceReconstruction | RMSE Cooperative: 1.66 RMSE Indoor: 1.66 RMSE Outdoor: 1.69 |
| 3d-face-reconstruction-on-florence | Deng | RMSE Cooperative: 1.60 RMSE Indoor: 1.61 |
| 3d-face-reconstruction-on-now-benchmark-1 | Deng et al. 2019 | Mean Reconstruction Error (mm): 1.54 Median Reconstruction Error: 1.23 Stdev Reconstruction Error (mm): 1.29 |
| 3d-face-reconstruction-on-now-benchmark-1 | Deep3DFaceRecon PyTorch | Mean Reconstruction Error (mm): 1.41 Median Reconstruction Error: 1.11 Stdev Reconstruction Error (mm): 1.21 |
| 3d-face-reconstruction-on-realy | Deep3D | @cheek: 1.528 (±0.501) @forehead: 2.015 (±0.449) @mouth: 1.368 (±0.439) @nose: 1.719 (±0.354) all: 1.657 |
| 3d-face-reconstruction-on-realy-side-view | Deep3D | @cheek: 1.528 (±0.517) @forehead: 2.074 (±0.486) @mouth: 1.411 (±0.395) @nose: 1.749 (±0.343) all: 1.657 |