
摘要
本研究探讨了在六自由度(6DoF)头部姿态估计背景下估算头部平移的复杂挑战,特别强调了这一方面相对于更为常见的头部旋转研究的重要性。我们发现现有方法中存在一个空白,即面部几何与头部平移之间的潜在协同效应尚未得到充分利用。为填补这一空白,我们提出了一种新颖的方法——头部平移、旋转及面部几何网络(TRG),该方法以其明确的双向交互结构而著称。这种结构经过精心设计,旨在利用面部几何与头部平移之间的互补关系,标志着头部姿态估计领域的重大进展。我们的贡献还包括开发了一种用于估算边界框校正参数的策略以及一种将地标对齐到图像的技术。这两项创新在6DoF头部姿态估计任务中表现出色。我们在ARKitFace和BIWI数据集上进行了广泛的实验,结果证实所提出的方法优于当前最先进的技术。代码已发布在https://github.com/asw91666/TRG-Release。
代码仓库
asw91666/trg-release
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| head-pose-estimation-on-arkitface | TRG (w/ 300WLP) | MAE(val): 0.91 MAE_t: 3.62 |
| head-pose-estimation-on-arkitface | TRG | MAE(val): 0.92 MAE_t: 3.64 |
| head-pose-estimation-on-biwi | TRG (w/ 300WLP) | Geodesic Error - aligned (GE): 5.68 MAE (trained with other data): 2.75 MAE_t: 12.97 |
| head-pose-estimation-on-biwi | TRG | Geodesic Error - aligned (GE): 5.35 MAE (trained with other data): 2.89 MAE_t: 14.31 |