摘要

从RGB-D图像中进行6D物体姿态估计的关键技术挑战在于充分利用两种互补的数据源。以往的研究要么分别从RGB图像和深度图中提取信息，要么采用代价高昂的后处理步骤，这限制了它们在高度杂乱场景和实时应用中的性能。本文提出了一种名为DenseFusion的通用框架，用于从RGB-D图像中估计一组已知物体的6D姿态。DenseFusion是一种异构架构，分别处理两种数据源，并通过一种新颖的密集融合网络提取像素级密集特征嵌入，从而估计物体的姿态。此外，我们集成了一个端到端的迭代姿态精化过程，在实现近实时推理的同时进一步提高了姿态估计的精度。实验结果表明，我们的方法在YCB-Video和LineMOD两个数据集上的表现优于现有最先进的方法。我们还将所提出的算法部署到了实际机器人上，使其能够基于估计的姿态抓取和操作物体。