
摘要
通过深度神经网络生成三维数据在研究界正受到越来越多的关注。现有大多数方法采用体素网格或图像集合等规则表示形式;然而,这些表示方式会掩盖三维形状在几何变换下的自然不变性,同时还存在诸多其他问题。本文针对从单张图像进行三维重建的问题,生成一种直接的输出形式——点云坐标。与此同时,该问题也引出一个独特而有趣的现象:输入图像的真实三维形状可能具有不确定性。基于这种非传统的输出形式以及真实标签固有的模糊性,我们设计了新颖且有效的网络架构、损失函数和学习范式。最终提出的解决方案是一种条件形状采样器,能够从一张输入图像中预测出多个合理的三维点云。实验结果表明,不仅本系统在基于单张图像的三维重建基准测试中优于现有最先进方法;同时在三维形状补全任务中也表现出强劲性能,并展现出生成多个合理预测的潜力。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-object-reconstruction-on-data3dr2n2 | PSGN | 3DIoU: 0.64 |
| 3d-object-reconstruction-on-data3dr2n2 | PSGN | Avg F1: 48.58 |
| 3d-reconstruction-on-data3dr2n2 | PSGN | 3DIoU: 0.640 |