4 个月前

基于弱监督学习的精确3D人脸重建:从单张图像到图像集

基于弱监督学习的精确3D人脸重建:从单张图像到图像集

摘要

近年来,基于深度学习的三维人脸重建方法在质量和效率方面均展现出令人鼓舞的结果。然而,训练深度神经网络通常需要大量数据,而带有真实三维人脸形状的图像却十分稀缺。本文提出了一种新颖的深度三维人脸重建方法,该方法具有以下两个特点:1)利用一种稳健的混合损失函数进行弱监督学习,该损失函数同时考虑了低级和感知级信息以提供监督;2)通过利用不同图像中的互补信息进行形状聚合,实现多图像人脸重建。我们的方法快速、准确且对遮挡和大姿态变化具有鲁棒性。我们在三个数据集上进行了全面的实验,系统地将我们的方法与十五种近期方法进行了比较,并展示了其处于国际领先水平的性能。

代码仓库

qiuyu96/carver
pytorch
GitHub 中提及
sicxu/Deep3DFaceRecon_pytorch
pytorch
GitHub 中提及
thu-ml/at3d
pytorch
GitHub 中提及
Microsoft/Deep3DFaceReconstruction
官方
tf
GitHub 中提及

基准测试

基准方法指标
3d-face-reconstruction-on-florenceDeep3DFaceReconstruction
RMSE Cooperative: 1.66
RMSE Indoor: 1.66
RMSE Outdoor: 1.69
3d-face-reconstruction-on-florenceDeng
RMSE Cooperative: 1.60
RMSE Indoor: 1.61
3d-face-reconstruction-on-now-benchmark-1Deng et al. 2019
Mean Reconstruction Error (mm): 1.54
Median Reconstruction Error: 1.23
Stdev Reconstruction Error (mm): 1.29
3d-face-reconstruction-on-now-benchmark-1Deep3DFaceRecon PyTorch
Mean Reconstruction Error (mm): 1.41
Median Reconstruction Error: 1.11
Stdev Reconstruction Error (mm): 1.21
3d-face-reconstruction-on-realyDeep3D
@cheek: 1.528 (±0.501)
@forehead: 2.015 (±0.449)
@mouth: 1.368 (±0.439)
@nose: 1.719 (±0.354)
all: 1.657
3d-face-reconstruction-on-realy-side-viewDeep3D
@cheek: 1.528 (±0.517)
@forehead: 2.074 (±0.486)
@mouth: 1.411 (±0.395)
@nose: 1.749 (±0.343)
all: 1.657

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于弱监督学习的精确3D人脸重建:从单张图像到图像集 | 论文 | HyperAI超神经