摘要

我们提出了一种计算框架，用于同时解析单个RGB图像并使用随机语法模型重构由一组CAD模型组成的整体3D配置。具体而言，我们引入了整体场景语法（Holistic Scene Grammar，HSG）来表示3D场景结构，该语法描述了室内场景的功能空间和几何空间的联合分布。所提出的HSG捕捉了室内场景中的三个基本且通常隐含的维度：i) 隐含的人类上下文，描述房间布局的可用性和功能；ii) 场景配置的几何约束；iii) 确保物理上合理解析和重构的物理约束。我们以分析-合成的方式解决这一联合解析和重构问题，旨在最小化输入图像与我们的3D表示生成的渲染图像在深度、表面法线和物体分割图方面的差异。最优配置通过马尔可夫链蒙特卡洛（Markov Chain Monte Carlo，MCMC）方法推断得出，该方法高效地遍历不可微解空间，同时优化物体定位、3D布局和隐含的人类上下文。实验结果表明，所提出的算法提高了泛化能力，并在3D布局估计、3D物体检测和整体场景理解方面显著优于先前的方法。