摘要

在二维感知领域的快速进展已经导致了能够准确检测现实世界图像中物体的系统的发展。然而，这些系统仅在二维空间中进行预测，忽略了世界的三维结构。与此同时，三维形状预测的进步主要集中在合成基准测试和孤立物体上。我们在这两个领域之间建立了统一。我们提出了一种系统，该系统能够在现实世界图像中检测物体并生成每个检测到物体的完整三维形状的三角网格。我们的系统称为Mesh R-CNN，它通过增加一个网格预测分支来扩展Mask R-CNN的功能，首先预测粗略的体素表示，然后将其转换为网格，并通过在网格顶点和边上的图卷积网络对其进行细化。我们在ShapeNet上验证了我们的网格预测分支，在单张图像形状预测方面超过了先前的工作。随后，我们将完整的Mesh R-CNN系统部署到Pix3D上，在该数据集上同时检测物体并预测其三维形状。