摘要

本文提出了一种基于单路异步事件流输入的新型三维人体姿态估计方法。目前大多数先进方法依赖于RGB相机完成该任务，但在人体快速运动时表现不佳。相比之下，基于事件相机的三维姿态估计能够充分利用事件相机在效率和对外观变化鲁棒性方面的优势。然而，从异步事件中检测人体姿态在一般情况下比传统的RGB姿态估计更具挑战性，因为在静态场景中触发的事件极少甚至没有。为此，本文首次提出了一种基于学习的、从单路事件流中恢复三维人体姿态的方法。该方法包含两个步骤：首先，对事件相机流进行处理，为每个关节点预测三个正交方向的热图，每个热图对应关节点在某一正交平面上的投影；其次，将多组热图进行融合，以估计人体关节点的三维位置。作为进一步贡献，本文通过从RGB Human3.6M数据集合成事件，构建了一个新的、具有挑战性的事件相机人体姿态估计数据集。实验结果表明，所提方法在精度上表现稳健，显著缩小了传统RGB视觉与事件视觉在姿态估计性能之间的差距。相关代码已开源，可访问 https://iit-pavis.github.io/lifting_events_to_3d_hpe。