3 个月前

一种用于从野外图像中实现精确且细节丰富的面部重建的分层表示网络

一种用于从野外图像中实现精确且细节丰富的面部重建的分层表示网络

摘要

受限于三维人脸模型(3DMM)低维表征能力的固有局限,现有的基于3DMM的人脸重建(Face Reconstruction, FR)方法大多难以恢复高频率的面部细节,例如皱纹、酒窝等。尽管部分方法尝试通过引入细节贴图或非线性操作来缓解该问题,但重建结果仍缺乏真实感与细节表现力。为此,本文提出一种新型的分层表征网络(Hierarchical Representation Network, HRN),旨在实现从单张图像出发的高精度、高细节的人脸重建。具体而言,我们通过实现几何与外观的解耦,并引入分层表征机制,以支持更精细的人脸建模。同时,我们将面部细节的三维先验信息融入网络结构,显著提升了重建结果的准确性与真实感。此外,我们设计了一种去修饰(de-retouching)模块,以实现几何与外观特征更优的解耦。值得注意的是,本框架可通过考虑多视角间细节的一致性,自然扩展至多视角人脸重建场景。在两个单视角和两个多视角人脸重建基准数据集上的大量实验表明,所提方法在重建精度与视觉效果方面均优于现有主流方法。最后,为推动高保真人脸重建研究的发展,我们构建了一个高质量的三维人脸数据集 FaceHD-100。项目主页详见:https://younglbw.github.io/HRN-homepage/。

代码仓库

youngLBW/HRN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-face-reconstruction-on-realyHRN
@cheek: 1.072 (±0.333)
@forehead: 1.995 (±0.476)
@mouth: 1.357 (±0.523)
@nose: 1.722 (±0.330)
all: 1.537
3d-face-reconstruction-on-realy-side-viewHRN
@cheek: 1.038 (±0.322)
@forehead: 1.906 (±0.479)
@mouth: 1.285 (±0.528)
@nose: 1.642 (±0.310)
all: 1.468

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
一种用于从野外图像中实现精确且细节丰富的面部重建的分层表示网络 | 论文 | HyperAI超神经