摘要
现有的三维密集面部对齐方法主要集中在精度上，从而限制了其实际应用的范围。本文提出了一种名为3DDFA-V2的新回归框架，旨在平衡速度、精度和稳定性。首先，在轻量级骨干网络的基础上，我们提出了一种元关节优化策略，用于动态回归一小组3DMM参数，这在很大程度上同时提高了速度和精度。为了进一步提高视频中的稳定性，我们引入了一种虚拟合成方法，将一张静态图像转换为包含平面内和平面外面部运动的短片段。在保证高精度和稳定性的前提下，3DDFA-V2在单个CPU核心上运行速度超过50帧每秒，并且性能优于其他最先进的重型模型。我们在多个具有挑战性的数据集上的实验验证了该方法的有效性。预训练模型和代码可在https://github.com/cleardusk/3DDFA_V2 获取。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-face-reconstruction-on-aflw2000-3d | 3DDFA-V2 | Mean NME : 3.56% |
| 3d-face-reconstruction-on-florence | 3DDFA_V2 | Mean NME: 3.56 |
| 3d-face-reconstruction-on-now-benchmark-1 | 3DDFA_V2 | Mean Reconstruction Error (mm): 1.57 Median Reconstruction Error: 1.23 Stdev Reconstruction Error (mm): 1.39 |
| 3d-face-reconstruction-on-realy | 3DDFA-v2 | @cheek: 1.757 (±0.642) @forehead: 2.447 (±0.647) @mouth: 1.597 (±0.478) @nose: 1.903 (±0.517) all: 1.926 |
| 3d-face-reconstruction-on-realy-side-view | 3DDFA-v2 | @cheek: 1.781 (±0.636) @forehead: 2.465 (±0.622) @mouth: 1.642 (±0.501) @nose: 1.883 (±0.499) all: 1.943 |
| 3d-face-reconstruction-on-stirling-hq-fg2018 | 3DDFA_V2 | Mean Reconstruction Error (mm): 1.91 |
| 3d-face-reconstruction-on-stirling-lq-fg2018 | 3DDFA_V2 | Mean Reconstruction Error (mm): 2.10 |
| face-alignment-on-aflw | 3DDFA_V2 | Mean NME: 4.43 |
| face-alignment-on-aflw2000-3d | 3DDFA_V2 | Balanced NME (2D Sparse Alignment): 3.51% Mean NME(3D Dense Alignment): 4.18% |