摘要

我们介绍了X-Avatar，这是一种新颖的虚拟人物模型，能够捕捉数字人类的全部表现力，从而在远程呈现、增强现实/虚拟现实（AR/VR）等领域带来逼真的体验。我们的方法以整体的方式建模身体、手部、面部表情和外观，并且可以从完整的3D扫描或RGB-D数据中学习。为了实现这一目标，我们提出了一种基于部分感知的学习前向蒙皮模块，该模块可以通过SMPL-X的参数空间进行驱动，从而实现X-Avatar的生动动画效果。为了高效地学习神经形状和变形场，我们提出了新的部分感知采样和初始化策略。这使得结果具有更高的保真度，特别是在较小的身体部位上，同时即使增加关节骨骼的数量也能保持高效的训练过程。为了捕捉虚拟人物的高频细节外观，我们将几何和变形场扩展为一个纹理网络，该网络受姿态、面部表情、几何形状以及变形表面法线的影响。实验结果表明，我们的方法在动画任务中无论是在数据域还是定量和定性方面都优于强大的基线方法。为了促进未来关于生动虚拟人物的研究，我们贡献了一个名为X-Humans的新数据集，包含来自20名参与者的233个高质量纹理扫描序列，总计35,500帧数据。