摘要
头部姿态估计（HPE）是计算机视觉领域的一个重要问题，旨在提高在半正面或侧面场景中面部处理任务的性能。近年来的应用需要分析在360°旋转范围内的面部。传统的解决半正面和侧面情况的方法并不直接适用于全旋转范围的情况。本文分析了短程和广程HPE的方法，并讨论了每种情况下适用的表示方法和度量标准。我们发现，常用的欧拉角表示法对于短程HPE是一个不错的选择，但在极端旋转角度下表现不佳。然而，由于欧拉角的万向锁问题，它们无法作为任何场景下的有效度量标准。我们还重新审视了当前的数据集交叉评估方法，并指出训练数据集和测试数据集参考系统之间的对齐不足会负面影响文献中所有文章的结果。为此，我们引入了一种量化这种错位的程序以及一种新的跨数据集HPE方法，该方法为300W-LP|Biwi基准建立了更为准确的新最先进水平（SOTA）。此外，我们提出了一种广义测地线角距离度量的推广方法，该方法能够构建一个控制每个训练样本对模型优化贡献的损失函数。最后，我们基于CMU全景数据集引入了一个广程HPE基准。
代码仓库
pcr-upm/opal23_headpose
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| head-pose-estimation-on-aflw2000 | SRHP-6D | Geodesic Error (GE): 5.37 MAE: 3.49 |
| head-pose-estimation-on-aflw2000 | SRHP-Euler | Geodesic Error (GE): 5.29 MAE: 3.25 |
| head-pose-estimation-on-biwi | SRHP-Euler | Geodesic Error (GE): 7.49 Geodesic Error - aligned (GE): 5.42 MAE (trained with other data): 4.13 MAE-aligned (trained with other data): 3.16 |
| head-pose-estimation-on-biwi | SRHP-6D | Geodesic Error (GE): 7.30 Geodesic Error - aligned (GE): 5.48 MAE (trained with other data): 3.98 MAE-aligned (trained with other data): 3.21 |
| head-pose-estimation-on-panoptic | WRHP-Quaternion | Geodesic Error (GE): 9.32 |
| head-pose-estimation-on-panoptic | WRHP-6D | Geodesic Error (GE): 7.70 |
| head-pose-estimation-on-panoptic | WRHP-6D-Opal | Geodesic Error (GE): 7.45 |
| head-pose-estimation-on-panoptic | WRHP-Euler | Geodesic Error (GE): 10.47 |