3 个月前

HandFoldingNet:一种基于多尺度特征引导的二维手部骨骼折叠的三维手部姿态估计网络

HandFoldingNet:一种基于多尺度特征引导的二维手部骨骼折叠的三维手部姿态估计网络

摘要

随着三维手部姿态估计在人机交互等各类应用中的日益普及,基于卷积神经网络(CNN)的估计模型得到了广泛关注与研究。然而,现有模型通常需要复杂的网络结构或冗余的计算资源,以换取可接受的估计精度。为解决这一局限性,本文提出了一种高效且高精度的手部姿态估计算法——HandFoldingNet。该模型通过从归一化的三维手部点云输入中回归手部关节位置,实现精准姿态估计。所提模型采用基于“折叠”机制的解码器结构,将给定的二维手部骨架逐步折叠至对应的空间关节坐标。为提升估计精度,折叠过程由多尺度特征引导,这些特征包含全局上下文信息与关节级局部特征。实验结果表明,HandFoldingNet在三个主流手部姿态估计基准数据集上均优于现有方法,同时在模型参数量方面达到最低水平。代码已开源,地址为:https://github.com/cwc1260/HandFold。

代码仓库

cwc1260/handfold
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
hand-pose-estimation-on-icvl-handsHandFoldingNet
Average 3D Error: 5.95
hand-pose-estimation-on-msra-handsHandFoldingNet
Average 3D Error: 7.34
hand-pose-estimation-on-nyu-handsHandFoldingNet
Average 3D Error: 8.58

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
HandFoldingNet:一种基于多尺度特征引导的二维手部骨骼折叠的三维手部姿态估计网络 | 论文 | HyperAI超神经