3 个月前

HiFace:通过学习静态与动态细节实现高保真3D人脸重建

HiFace:通过学习静态与动态细节实现高保真3D人脸重建

摘要

三维可变形模型(3D Morphable Models, 3DMMs)在仅凭单张图像重建高保真且可动画化的三维人脸表面方面展现出巨大潜力。人脸表面的形态受到粗略形状、静态细节(如个体特异性外观)以及动态细节(如表情驱动的皱纹)的共同影响。以往的方法在仅依赖图像级监督的情况下,难以有效分离静态与动态细节,导致重建结果缺乏真实感。本文旨在实现高保真度的三维人脸重建,提出了一种名为HiFace的新方法,以显式建模静态与动态细节。具体而言,静态细节被建模为位移基的线性组合,而动态细节则通过具有极化表情的两组位移图之间的线性插值来表示。我们设计了多种损失函数,结合合成数据与真实世界数据,联合学习粗略形状与精细细节,从而使HiFace能够重建出具有高度保真度且具备可动画特性的三维人脸。大量定量与定性实验表明,HiFace在重建质量上达到当前最先进水平,并能准确恢复静态与动态细节。项目主页详见:https://project-hiface.github.io。

基准测试

基准方法指标
3d-face-reconstruction-on-realyHiFace-f
@cheek: 1.291 (±0.362)
@forehead: 1.324 (±0.334)
@mouth: 1.450 (±0.413)
@nose: 1.036 (±0.280)
all: 1.275
3d-face-reconstruction-on-realyHiFace-c
@cheek: 1.342 (±0.384)
@forehead: 1.331 (±0.347)
@mouth: 1.461 (±0.430)
@nose: 1.054 (±0.317)
all: 1.297
3d-face-reconstruction-on-realy-side-viewHiFace-f
@cheek: 1.360 (±0.395)
@forehead: 1.399 (±0.388)
@mouth: 1.489 (±0.436)
@nose: 0.985 (±0.237)
all: 1.308
3d-face-reconstruction-on-realy-side-viewHiFace-c
@cheek: 1.4392 (±0.429)
@forehead: 1.427 (±0.400)
@mouth: 1.505 (±0.454)
@nose: 0.992 (±0.246)
all: 1.341

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
HiFace:通过学习静态与动态细节实现高保真3D人脸重建 | 论文 | HyperAI超神经