HyperAIHyperAI

Command Palette

Search for a command to run...

基于模型的自监督学习3D手部重建

Yujin Chen Zhigang Tu Di Kang Linchao Bao Ying Zhang Xuefei Zhe Ruizhi Chen Junsong Yuan

摘要

从单视角RGB图像重建三维手部结构极具挑战性,主要源于手部姿态的多样性以及深度信息的模糊性。为了从单目图像中可靠地重建三维手部,当前最先进的方法大多依赖于训练阶段的三维标注数据,但获取三维标注成本高昂。为减轻对标注数据的依赖,本文提出S2HAND——一种自监督的三维手部重建网络,能够联合估计手部姿态、形状、纹理以及相机视角。具体而言,我们通过易于获取的二维关键点检测结果,从输入图像中提取几何线索。为利用这些噪声较大的几何线索训练出精确的手部重建模型,我们引入二维与三维表示之间的一致性,并设计了一组新型损失函数,以合理化神经网络的输出。这是首次证明在无需人工标注的情况下,仍可训练出高精度的三维手部重建网络。实验结果表明,所提方法在仅使用较少监督数据的前提下,性能可与近期完全监督的方法相媲美。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于模型的自监督学习3D手部重建 | 论文 | HyperAI超神经