摘要

我们提出了一种基于单个编码器和三个独立生成器的新模型，用于从单一深度图像进行3D语义补全。该模型能够重建原始场景及其补全后的不同几何和语义表示，所有这些表示都共享同一个潜在空间。为了在网络的几何分支和语义分支之间传递信息，我们引入了连接相应网络层的特征路径。鉴于真实场景中的训练样本数量有限，我们的架构的一个有趣特性是能够通过生成高质量、逼真的新训练数据集来补充现有数据集，这些新数据集甚至包括遮挡和真实噪声。我们通过直接从潜在空间中采样特征来构建新的数据集，从而生成部分体积表面和完整的体积语义表面的配对。此外，我们利用多个判别器来提高重建的准确性和逼真度。我们在两个最常见的补全任务的标准基准上展示了我们方法的优势：3D场景语义补全和3D物体补全。