摘要

我们提出了一种基于实时RGB的物体检测和6D姿态估计管道。我们的新颖3D方向估计方法基于一种变体的去噪自编码器（Denoising Autoencoder），该自编码器通过域随机化（Domain Randomization）在3D模型的模拟视图上进行训练。这种所谓的增强自编码器（Augmented Autoencoder）相比现有方法具有多个优势：它不需要真实且带有姿态注释的训练数据，能够泛化到不同的测试传感器，并且能够内在地处理物体和视角对称性。该方法不是学习从输入图像到物体姿态的显式映射，而是提供了一个由潜在空间中的样本定义的物体方向的隐式表示。我们的管道在T-LESS数据集上实现了RGB和RGB-D领域的最先进性能。我们还在LineMOD数据集上进行了评估，其结果可以与其他合成训练的方法相媲美。通过校正3D方向估计以补偿物体偏离图像中心时产生的透视误差，我们进一步提高了性能，并展示了扩展的结果。