3 个月前

基于第一人称视角动作任务的手部姿态估计

基于第一人称视角动作任务的手部姿态估计

摘要

本文研究了从第一人称视角(egocentric viewpoint)下手部与各类物体交互时的手部姿态估计问题。该任务面临的主要挑战包括:物体频繁遮挡手部部分区域,以及手部自身造成的自遮挡。为此,我们采用体素到体素(Voxel-to-Voxel)的方法生成手部关节位置的候选假设,通过集成多个候选结果,并结合多种后处理策略以提升估计精度。我们引入了基于截断奇异值分解(Truncated Singular Value Decomposition, SVD)的先验手部姿态模型以及时间上下文信息,进一步优化手部关节的定位结果。通过消融实验,我们系统评估了各项后处理策略对最终性能的影响。基于所提出的方法,我们在HANDS19挑战赛任务2——“交互过程中基于深度的3D手部姿态估计”中取得了当前最先进的性能,对未见测试数据的估计精度达到33.09毫米。

基准测试

基准方法指标
hand-pose-estimation-on-hands-2017V2V-NTIS
Average 3D Error: 7.51

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于第一人称视角动作任务的手部姿态估计 | 论文 | HyperAI超神经