摘要

手部经常被物体严重遮挡，这使得三维手部网格估计变得极具挑战性。以往的研究通常忽略了遮挡区域的信息。然而，我们认为遮挡区域与手部之间存在强烈的关联，因此可以提供对完整三维手部网格估计极为有益的信息。为此，在本工作中，我们提出了一种新颖的三维手部网格估计网络——HandOccNet，该网络能够充分利用遮挡区域的信息作为辅助手段来增强图像特征，使其更加丰富。为了实现这一目标，我们设计了两个连续的基于Transformer的模块，分别称为特征注入Transformer（FIT）和自增强Transformer（SET）。FIT通过考虑遮挡区域与手部之间的相关性，将手部信息注入到遮挡区域中。SET则利用自注意力机制进一步优化FIT的输出。通过将手部信息注入到遮挡区域，我们的HandOccNet在包含具有挑战性的手-物遮挡情况的三维手部网格基准测试中达到了最先进的性能。代码可从以下链接获取：https://github.com/namepllet/HandOccNet。