HyperAIHyperAI

Command Palette

Search for a command to run...

SHARP:基于伪深度的手部和臂部分割以增强第一人称3D手部姿态估计和动作识别

Mucha Wiktor ; Wray Michael ; Kampel Martin

摘要

手部姿态在以用户为中心的视角中表示了关键信息,尤其是在用户与物体互动时。我们提出了一种仅基于RGB图像的手部姿态估计方法,通过使用伪深度图像来提高以用户为中心的3D手部姿态估计的准确性。结合最先进的单RGB图像深度估计技术,我们生成了帧的伪深度表示,并利用距离信息来分割场景中的无关部分。生成的深度图随后被用作RGB帧的分割掩模。在H2O数据集上的实验结果证实了我们的方法在动作识别任务中对手部姿态估计的高度准确性。3D手部姿态与物体检测信息一起,由基于 Transformer 的动作识别网络进行处理,最终实现了91.73%的准确率,超过了所有现有的最先进方法。该方法在3D手部姿态估计方面表现出与现有方法相当的性能,平均姿态误差为28.66毫米。这一方法为在不依赖深度传感器的情况下利用距离信息进行以用户为中心的3D手部姿态估计开辟了新的可能性。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供