
摘要
头部朝向是一个具有广泛应用场景的计算机视觉难题,已受到广泛研究。然而,当前最先进的系统在存在遮挡的情况下仍表现不佳,在许多任务应用中不可靠。本文提出了一种新的深度学习方法,用于解决遮挡情况下的头部姿态估计问题。该策略基于潜在空间回归,这是在遮挡场景下更好地构建问题的关键。我们的模型在遮挡HPE(头部姿态估计)方面超越了多种最先进的方法,并且在非遮挡场景下达到了类似的精度。我们通过以下几点展示了所提方法的有效性:(i) 两个合成遮挡版本的BIWI和AFLW2000数据集;(ii) Pandora数据集中的真实遮挡情况;(iii) 一个实际应用案例,即在人类-机器人交互场景中经常出现面部遮挡的情况,具体为机械臂自主喂食的应用。
代码仓库
sipg-isr/Occlusion_HPE
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| head-pose-estimation-on-aflw2000 | LSR | MAE: 4.412 |
| head-pose-estimation-on-biwi | LSR | MAE (trained with other data): 3.519 |