摘要

我们提出了一种方法，用于标注手部操纵物体的图像，包括手部和物体的三维姿态，并创建了一个使用该方法生成的数据集。我们的动机在于当前缺乏针对这一问题的真实图像标注数据，因为估计三维姿态具有挑战性，主要是由于手部和物体之间的相互遮挡。为了解决这一挑战，我们使用一台或多台RGB-D相机捕捉序列，并同时对所有帧中的手部和物体的三维姿态进行联合优化。这种方法使我们能够在存在较大相互遮挡的情况下自动标注每一帧的准确姿态估计值。利用这种方法，我们创建了HO-3D数据集，这是第一个无标记的颜色图像数据集，包含手部和物体的三维标注。该数据集目前由77,558帧、68个序列、10个人和10个物体组成。通过使用我们的数据集，我们开发了一种基于单张RGB图像的方法来预测在严重遮挡情况下手部与物体交互时的手部姿态，并展示了该方法可以推广到数据集中未出现的物体。