4 个月前

通过显式双向交互实现六自由度头部姿态估计

通过显式双向交互实现六自由度头部姿态估计

摘要

本研究探讨了在六自由度(6DoF)头部姿态估计背景下估算头部平移的复杂挑战,特别强调了这一方面相对于更为常见的头部旋转研究的重要性。我们发现现有方法中存在一个空白,即面部几何与头部平移之间的潜在协同效应尚未得到充分利用。为填补这一空白,我们提出了一种新颖的方法——头部平移、旋转及面部几何网络(TRG),该方法以其明确的双向交互结构而著称。这种结构经过精心设计,旨在利用面部几何与头部平移之间的互补关系,标志着头部姿态估计领域的重大进展。我们的贡献还包括开发了一种用于估算边界框校正参数的策略以及一种将地标对齐到图像的技术。这两项创新在6DoF头部姿态估计任务中表现出色。我们在ARKitFace和BIWI数据集上进行了广泛的实验,结果证实所提出的方法优于当前最先进的技术。代码已发布在https://github.com/asw91666/TRG-Release。

代码仓库

基准测试

基准方法指标
head-pose-estimation-on-arkitfaceTRG (w/ 300WLP)
MAE(val): 0.91
MAE_t: 3.62
head-pose-estimation-on-arkitfaceTRG
MAE(val): 0.92
MAE_t: 3.64
head-pose-estimation-on-biwiTRG (w/ 300WLP)
Geodesic Error - aligned (GE): 5.68
MAE (trained with other data): 2.75
MAE_t: 12.97
head-pose-estimation-on-biwiTRG
Geodesic Error - aligned (GE): 5.35
MAE (trained with other data): 2.89
MAE_t: 14.31

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过显式双向交互实现六自由度头部姿态估计 | 论文 | HyperAI超神经