
摘要
MaskedFusion 是一个利用 RGB-D 数据估计物体 6D 姿态的框架,其架构通过在流水线中利用多个子任务来实现精确的 6D 姿态估计。由于现实世界中的复杂物体以及在采集数据时可能出现的各种问题(例如遮挡、截断和数据噪声),6D 姿态估计仍然是一个开放性的挑战。实现准确的 6D 姿态估计将有助于改善其他开放性问题的结果,如机器人抓取或增强现实中物体的定位。MaskedFusion 通过使用物体掩码来消除无关数据,从而改进了现有方法。通过在估计物体 6D 姿态的神经网络中引入掩码,我们还获得了表示物体形状的特征。MaskedFusion 是一个模块化的流水线,每个子任务都可以采用不同的方法来达成目标。在 LineMOD 数据集上,MaskedFusion 使用 ADD 指标平均达到了 97.3% 的准确率;在 YCB-Video 数据集上,使用 ADD-S AUC 指标达到了 93.3% 的准确率,相比现有的最先进方法有所提升。代码已发布在 GitHub 上(https://github.com/kroglice/MaskedFusion)。
代码仓库
kroglice/MaskedFusion
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 6d-pose-estimation-on-linemod-2 | MaskedFusion | Accuracy (ADD): 97.8 |
| 6d-pose-estimation-on-ycb-video-2 | MaskedFusion | ADDS AUC: 93.3 |
| 6d-pose-estimation-using-rgbd-on-linemod | MaskedFusion | Mean ADD: 97.8 |
| 6d-pose-estimation-using-rgbd-on-ycb-video | MaskedFusion | Mean ADD: 93.3 Mean ADD-S: 93.3 |