摘要

将神经辐射场（NeRF）扩展至动态场景建模，已使其能够实现近乎逼真的自由视角渲染。尽管此类方法在构建沉浸式体验方面展现出一定潜力，但仍存在两大局限性制约其广泛应用：（i）在计算资源受限时，重建质量显著下降；（ii）缺乏对场景内在语义的理解。为解决上述问题，我们提出Gear-NeRF，该方法利用强大的图像分割模型提供的语义信息。我们的方法提出了一种系统化的思路，用于学习时空（4D）语义嵌入，并在此基础上引入“齿轮”（gears）概念，实现基于运动程度对场景动态区域进行分层建模。通过这种区分机制，我们可根据各区域的运动尺度，自适应调整其时空采样分辨率，从而显著提升动态新视角合成的逼真度。与此同时，该方法几乎无需额外开销，即可实现对感兴趣物体的自由视角跟踪——这一功能目前尚无基于NeRF的方法能够实现。实验结果验证了所提方法的有效性，在多个具有挑战性的数据集上，我们均取得了当前最优的渲染与跟踪性能。