3 个月前

FSA-Net:从单张图像中学习细粒度结构聚合以进行头部姿态估计

FSA-Net:从单张图像中学习细粒度结构聚合以进行头部姿态估计

摘要

本文提出了一种从单张图像中进行头部姿态估计的方法。以往的方法通常依赖于关键点或深度估计来预测头部姿态,往往需要过多的计算资源。本文方法基于回归与特征聚合,采用软阶段性回归(soft stagewise regression)策略,以构建紧凑的模型结构。现有特征聚合方法将输入视为特征的“集合”,忽略了特征图中特征之间的空间关系。为此,本文提出在特征聚合前学习一种细粒度的结构映射,以实现空间上的特征分组。该细粒度结构能够提供基于部件的信息以及聚合后的统计值。通过在空间位置上引入可学习与不可学习的重要性权重,可生成多种模型变体,并形成互补的集成结构。实验结果表明,本方法在性能上优于当前最先进的方法,包括无关键点(landmark-free)方法以及基于关键点或深度估计的方法。仅需单帧RGB图像作为输入,本方法在估计偏航角(yaw angle)方面,甚至超越了利用多模态信息(如RGB-D、RGB-Time)的方法。此外,本方法的内存开销仅为先前方法的1/100,显著降低了资源消耗。

基准测试

基准方法指标
head-pose-estimation-on-aflw2000FSA-Net (Caps-Fusion)
Geodesic Error (GE): 8.16
MAE: 5.07
head-pose-estimation-on-biwiFSA-Net (Caps-Fusion)
Geodesic Error (GE): 7.64
Geodesic Error - aligned (GE): 5.36
MAE (trained with other data): 4.00
MAE-aligned (trained with other data): 2.92

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
FSA-Net:从单张图像中学习细粒度结构聚合以进行头部姿态估计 | 论文 | HyperAI超神经