Command Palette
Search for a command to run...
卡通化GS：基于高斯曲率的3D高斯溅射人脸夸张方法
卡通化GS：基于高斯曲率的3D高斯溅射人脸夸张方法
Eldad Matmon Amit Bracha Noam Rotstein Ron Kimmel
Abstract
本文提出了一种逼真且可控制的三维人脸夸张化框架。我们首先采用基于内在高斯曲率的表面夸张技术，该方法在结合纹理后往往导致渲染结果过于平滑。为解决此问题，我们引入了最近被证明可生成逼真自由视角虚拟形象的三维高斯点阵（3D Gaussian Splatting, 3DGS）方法。给定多视角图像序列，我们首先提取FLAME人脸网格，求解加权曲率的泊松方程，从而获得夸张化后的几何形态。然而，直接对高斯点进行变形会导致效果不佳，因此我们通过局部仿射变换将每一帧图像映射至其夸张化的二维表示，合成伪真实夸张图像作为监督信号。在此基础上，我们设计了一种交替使用真实数据与合成数据进行监督的训练策略，使得单一高斯点集合能够同时表征自然状态与夸张状态的人脸形象。该策略显著提升了重建保真度，支持局部编辑，并实现了对夸张程度的连续可控调节。为进一步实现实时变形，我们引入了一种高效的原始表面与夸张表面之间的插值机制，并对其进行了理论分析，证明其偏差在闭式解的合理范围内。在定量与定性评估中，我们的方法均优于现有技术，成功生成了具有高度逼真感且几何可控的三维夸张化人脸虚拟形象。
一句话总结
以色列理工学院的研究人员提出了一种基于曲率加权泊松变形与交替真实-合成监督的3D高斯点云（3D Gaussian Splatting）的逼真3D漫画化框架，实现了可控制、高保真度的漫画化头像，支持实时插值与局部编辑，在几何控制与视觉真实感方面均优于先前方法。
主要贡献
- 本文通过结合基于高斯曲率的表面夸张与3D高斯点云（3DGS），解决了生成逼真3D漫画头像的挑战，克服了传统几何夸张应用于带纹理3D网格时产生的过度平滑问题。
- 提出一种新颖的训练方案，交替使用真实多视角图像与通过三角面片局部仿射变换合成的伪真值漫画图像，使单个高斯点集能够以高保真度表示自然与夸张的面部外观。
- 该方法支持通过在原始与夸张表面之间高效插值实现对漫画强度的实时连续控制，并在定量指标与定性评估中均优于先前方法。
引言
研究人员利用3D高斯点云（3DGS）技术，结合曲率驱动的几何变形与基于网格的3DGS表示，构建逼真3D漫画头像。该方法解决了以往工作的关键局限——多数方法要么专注于逼真渲染而忽略夸张，要么仅对外观施加漫画效果，而保持几何结构不变。通过使用三角面片局部仿射变换（LAT）将中性FLAME网格变形为漫画化版本，生成用于指导中性与夸张视图联合优化的伪真值图像对。主要贡献在于提出一个统一框架：单个3D高斯集合能够学习渲染自然与夸张外观，同时保持身份与表情一致性，从而实现可控制、几何感知的漫画化效果，并在大形变下仍保持逼真视觉效果。
数据集
- 数据集为NeRSemble [20]，一个使用16台空间分布的同步高分辨率相机捕获的多视角面部表演数据集。
- 包含10个脚本化序列：4个情绪驱动（EMO）和6个表情驱动（EXP），另加一个自由自重演序列。
- 研究人员采用[21]中的相同训练/验证/测试划分，确保公平比较，训练周期为120,000次迭代。
- 数据经过处理以支持多视角渲染与面部动画建模，未提及显式裁剪，原始高分辨率相机捕获作为输入。
- 每个序列的元数据基于脚本类型（EMO或EXP）与表演上下文构建，支持受控训练与评估。
- 数据集以与原始序列类型一致的混合训练比例使用，全部序列均参与模型训练与验证。
方法
所提出的逼真且可控制的3D漫画化框架采用多阶段流程，整合几何变形、伪真值生成与专为3D高斯点云（3DGS）设计的特殊训练策略。整体架构如图所示，从输入的多视角视频中提取时间一致的FLAME网格，作为后续步骤的基础。
第一阶段为表面漫画化，对提取的FLAME网格施加曲率驱动的变形。该过程在表面形式化为加权泊松方程，权重由高斯曲率 K(p) 的幂 γ 定义，即 w(γ)=∣K∣γ。该公式允许根据内在曲率夸张面部特征，高曲率区域被更强放大。方程的解 Sγ 通过拉普拉斯-贝尔特拉米算子求解离散最小二乘问题获得。为实现局部控制，方法还支持通过在特定顶点施加边界条件来实现约束变形，从而实现针对性夸张。
第二阶段生成伪真值漫画图像（GT*）以监督3DGS训练。由于真实漫画图像不可得，作者通过扭曲原始输入帧合成GT*。这通过局部仿射变换（LAT）实现，利用原始网格与变形网格之间的三角面片对应关系。对变形网格中的每个三角面片，计算一个唯一的仿射映射，将对应像素从原始图像扭曲过来。为处理遮挡并确保鲁棒性，生成2D三角面级掩码以识别不可靠区域，并应用空间掩码冻结对应头发等难以可靠扭曲区域的高斯参数。
第三阶段为漫画化GS训练，涉及优化单个3D高斯基元集。这些高斯基元绑定至原始FLAME网格，其属性（位置、尺度、旋转、不透明度与颜色）基于光度损失进行更新。关键创新在于一种交替训练方案，随机在真实输入帧与合成GT图像之间切换。这种联合优化使高斯集能够同时学习自然与漫画化外观。在GT步骤中使用掩码可防止不可靠扭曲带来的伪影传播，而真实帧则提供关键监督以填补遮挡区域并保留发丝等精细细节。这种共享表示使模型能够泛化至连续的漫画强度范围。
实验
- 在NeRSemble数据集上评估，以逼真渲染与身份保持为主要指标，与无约束夸张（γ_f = 0.25）的SurFHead基线方法进行对比。
- 在所有指标上均表现更优：CLIP-I、CLIP-D、CLIP-C、DINO与SD，表明更强的漫画意图对齐、更好的身份保持与多视角一致性。
- 在几何稳定性、镜面反射一致性与多视角一致性方面优于基于扩散的无网格编辑方法（GaussianEditor）。
- 消融实验确认交替监督（原始帧与GT*帧）至关重要——仅在任一域训练会导致过拟合与伪影，而交替训练可实现平滑插值与各漫画强度下的高保真度。
- 在NeRSemble数据集上，使用单张RTX 3090显卡，经120K次迭代训练，实现高质量漫画化效果，涵盖256个测试帧、4种情绪、6种表情与10位受试者。
结果表明，所提方法在所有评估指标上均优于SurFHead，CLIP-I、CLIP-D、CLIP-C、DINO与SD得分更高。这表明其在漫画意图对齐、身份保持与多视角一致性方面显著优于基线方法。
