摘要

在这项工作中，我们提出了一种新颖的数据驱动方法，用于从单个RGBD图像中进行鲁棒的六自由度（6DoF）物体姿态估计。与以往直接回归姿态参数的方法不同，我们采用基于关键点的方法来解决这一具有挑战性的任务。具体而言，我们提出了一种深度Hough投票网络，用于检测物体的三维关键点，然后通过最小二乘拟合的方式估计6D姿态参数。我们的方法是对在RGB基础上成功应用于6DoF姿态估计的二维关键点方法的自然扩展。它使我们能够充分利用刚体的几何约束条件，并结合额外的深度信息，从而便于网络的学习和优化。为了验证3D关键点检测在6D姿态估计任务中的有效性，我们进行了大量的实验。实验结果表明，我们的方法在多个基准测试中大幅超越了现有最先进的方法。代码和视频可在以下链接获取：https://github.com/ethnhe/PVN3D.git。