摘要

三维手-物体姿态估计是许多计算机视觉应用成功的关键。该任务的主要目标是有效建模手与物体之间的相互作用。为此，现有的方法要么依赖于计算成本高昂的迭代优化中的交互约束，要么仅考虑采样手部和物体关键点之间的稀疏相关性。相比之下，我们提出了一种新颖的密集互注意力机制，能够建模手与物体之间细粒度的依赖关系。具体而言，我们首先根据它们的网格结构构建手部和物体图。对于每个手节点，我们通过学习到的注意力机制从每个物体节点聚合特征，反之亦然，对于每个物体节点也是如此。得益于这种密集互注意力机制，我们的方法能够在保持物理合理性的同时生成高质量的姿态，并且具有实时推理速度。在大型基准数据集上的大量定量和定性实验表明，我们的方法优于现有最先进方法。代码可在 https://github.com/rongakowang/DenseMutualAttention.git 获取。