摘要

我们在单张图像的三维形状建模领域进行了研究，并在三个方面做出了贡献。首先，我们提出了Pix3D，这是一个大规模的基准数据集，包含多样化的图像-形状对及其像素级别的2D-3D对齐。Pix3D在形状相关任务中具有广泛的应用，包括重建、检索、视角估计等。然而，构建这样一个大规模的数据集极具挑战性；现有的数据集要么仅包含合成数据，要么缺乏2D图像与3D形状之间的精确对齐，要么只有少量的图像。其次，我们通过行为研究校准了三维形状重建的评估标准，并利用这些标准在Pix3D上客观系统地评估了前沿的重建算法。最后，我们设计了一种新颖的模型，该模型可以同时进行三维重建和姿态估计；我们的多任务学习方法在这两个任务上均达到了最先进的性能。