摘要

我们介绍了Scan2CAD，这是一种新颖的数据驱动方法，能够学习将形状数据库中的干净3D CAD模型对齐到商品级RGB-D扫描的噪声和不完整几何结构上。对于室内场景的3D重建，我们的方法以一组CAD模型作为输入，并预测每个模型与底层扫描几何结构对齐的9自由度（9DoF）姿态。为了解决这一问题，我们基于1506个ScanNet扫描创建了一个新的扫描到CAD对齐数据集，该数据集中包含14225个ShapeNet CAD模型与其在扫描中对应物体之间的97607个注释的关键点对。我们的方法选择3D扫描中的一组代表性关键点，并找到这些关键点与CAD几何结构之间的对应关系。为此，我们设计了一种新颖的3D卷积神经网络（CNN）架构，该架构学习真实物体和合成物体之间的联合嵌入，并从这种嵌入中预测出一个对应关系热图。基于这些对应关系热图，我们提出了一个变分能量最小化公式，用于将给定的一组CAD模型对齐到重建结果上。我们在新引入的Scan2CAD基准测试中评估了我们的方法，在该测试中，我们的性能超过了手工特征描述符以及最先进的基于CNN的方法21.39%。