3 个月前

ImFace:一种基于隐式神经表示的非线性3D可变形人脸模型

ImFace:一种基于隐式神经表示的非线性3D可变形人脸模型

摘要

精确的三维人脸表示对众多计算机视觉与图形学应用具有重要意义。然而,由于数据离散化以及模型线性化的限制,现有方法在捕捉准确的身份与表情特征方面仍面临挑战。本文提出一种新型的三维可变形人脸模型——ImFace,旨在通过隐式神经表示学习非线性且连续的表征空间。该模型构建了两个显式解耦的形变场,分别用于建模与身份和表情相关的复杂形状,并设计了一种改进的学习策略,以扩展表情嵌入的表达能力,从而支持更丰富的表情变化。此外,本文引入一种神经混合场(Neural Blend-Field),通过自适应融合一系列局部场来学习精细的几何细节。除了ImFace模型本身,本文还提出一种高效的预处理流程,解决了隐式表示对封闭输入(watertight input)的严格要求,首次使隐式表示能够与常见的非封闭人脸表面协同工作。大量实验结果验证了ImFace模型在建模精度与表达能力方面的显著优势。

代码仓库

mingwuzheng/imface
官方
pytorch
GitHub 中提及
aejion/neuface
pytorch
GitHub 中提及

基准测试

基准方法指标
face-alignment-on-facescapeImFace
NME: 0.257

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ImFace:一种基于隐式神经表示的非线性3D可变形人脸模型 | 论文 | HyperAI超神经