摘要

从单个RGB图像估计手部和物体的三维姿态是一个高度模糊且具有挑战性的问题，需要大规模的数据集包含多种手部姿态、物体类型和摄像机视角。大多数现实世界的数据集缺乏这些多样性。相比之下，数据合成可以轻松地分别确保这些多样性。然而，构建既有效又多样的手-物互动并高效地从大量合成数据中学习仍然是一个难题。为了解决上述问题，我们提出了一种轻量级的在线数据增强方法——ArtiBoost。ArtiBoost通过在复合的手-物配置和视角空间（CCV-space）中采样来覆盖多样的手-物姿态和摄像机视角，并通过损失反馈和样本重新加权自适应地丰富当前难以区分的项目。ArtiBoost在学习管道中交替执行数据探索和合成，并将这些合成数据与现实世界源数据混合用于训练。我们在一个简单的基线网络上应用了ArtiBoost，并在多个手-物基准测试中观察到了性能提升。我们的模型和代码可在以下网址获取：https://github.com/lixiny/ArtiBoost。