
摘要
受限于三维人脸模型(3DMM)低维表征能力的固有局限,现有的基于3DMM的人脸重建(Face Reconstruction, FR)方法大多难以恢复高频率的面部细节,例如皱纹、酒窝等。尽管部分方法尝试通过引入细节贴图或非线性操作来缓解该问题,但重建结果仍缺乏真实感与细节表现力。为此,本文提出一种新型的分层表征网络(Hierarchical Representation Network, HRN),旨在实现从单张图像出发的高精度、高细节的人脸重建。具体而言,我们通过实现几何与外观的解耦,并引入分层表征机制,以支持更精细的人脸建模。同时,我们将面部细节的三维先验信息融入网络结构,显著提升了重建结果的准确性与真实感。此外,我们设计了一种去修饰(de-retouching)模块,以实现几何与外观特征更优的解耦。值得注意的是,本框架可通过考虑多视角间细节的一致性,自然扩展至多视角人脸重建场景。在两个单视角和两个多视角人脸重建基准数据集上的大量实验表明,所提方法在重建精度与视觉效果方面均优于现有主流方法。最后,为推动高保真人脸重建研究的发展,我们构建了一个高质量的三维人脸数据集 FaceHD-100。项目主页详见:https://younglbw.github.io/HRN-homepage/。
代码仓库
youngLBW/HRN
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-face-reconstruction-on-realy | HRN | @cheek: 1.072 (±0.333) @forehead: 1.995 (±0.476) @mouth: 1.357 (±0.523) @nose: 1.722 (±0.330) all: 1.537 |
| 3d-face-reconstruction-on-realy-side-view | HRN | @cheek: 1.038 (±0.322) @forehead: 1.906 (±0.479) @mouth: 1.285 (±0.528) @nose: 1.642 (±0.310) all: 1.468 |