4 个月前

基于分割的6D物体姿态估计

基于分割的6D物体姿态估计

摘要

最近,估计刚性物体6D姿态的趋势是训练深度网络,直接从图像中回归姿态,或者预测3D关键点的2D位置,然后通过PnP算法获得姿态。在这两种情况下,物体被视为一个整体实体,并计算出单一的姿态估计值。因此,这些技术在面对大面积遮挡时可能变得脆弱。本文中,我们提出了一种基于分割的6D姿态估计框架,在该框架下,每个可见部分都以2D关键点位置的形式贡献局部姿态预测。随后,我们利用预测的置信度量来组合这些姿态候选值,形成一组稳健的3D到2D对应关系,从而获得可靠的姿态估计值。我们在具有挑战性的Occluded-LINEMOD和YCB-Video数据集上超越了现有方法,这表明我们的方法能够很好地处理多个纹理较差且相互遮挡的物体。此外,该方法依赖于足够简单的架构,能够实现实时性能。

代码仓库

sjtuytc/segmentation-driven-pose
pytorch
GitHub 中提及
cvlab-epfl/segmentation-driven-pose
官方
pytorch
GitHub 中提及
cvlab-epfl/single-stage-pose
pytorch
GitHub 中提及

基准测试

基准方法指标
6d-pose-estimation-on-ycb-videoSegDriven
Accuracy (ADD): 39.0%
Mean ADD: 39
6d-pose-estimation-using-rgb-on-occlusionSegDriven
Mean ADD: 27

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于分割的6D物体姿态估计 | 论文 | HyperAI超神经