摘要

深度学习的出现已经推动了单目人体重建领域的显著进展。然而，现有的表示方法，如参数模型、体素网格、网格和隐式神经表示，在同时实现高质量结果和实时速度方面仍面临困难。在本文中，我们提出了一种新的强大、高效且灵活的3D表示方法——傅里叶占据场（Fourier Occupancy Field，简称FOF），用于单目实时和高精度的人体重建。FOF通过一个与视图方向正交的2D场来表示3D对象，在每个2D位置上，该占据场沿视图方向的值被紧凑地表示为傅里叶级数的前几项，从而保留了2D域中的拓扑结构和邻域关系。FOF可以存储为多通道图像，这与2D卷积神经网络兼容，并能弥合3D几何与2D图像之间的差距。FOF非常灵活且可扩展，例如，参数模型可以轻松集成到FOF中作为先验知识，以生成更稳健的结果。基于FOF，我们设计了首个超过30帧每秒（FPS）的高保真实时单目人体重建框架。我们在公共数据集和实际捕获的数据上展示了FOF的潜力。代码将公开发布供研究使用。