摘要

我们提出了一种名为HandLer的新颖卷积架构，能够在线联合检测与追踪自然场景视频中的双手。HandLer基于Cascade-RCNN框架，并引入了三个创新阶段。第一阶段为前向传播（Forward Propagation），利用前一帧（t-1）中已检测到的手部位置及其估计运动，将特征从帧t-1传播至当前帧t。第二阶段为检测与反向回归（Detection and Backward Regression），利用前向传播的结果，在当前帧t中检测手部位置，并估计其相对于前一帧t-1的相对偏移量。第三阶段则采用现成的人体姿态估计方法，将断裂的手部轨迹片段（hand tracklets）进行连接，以形成完整轨迹。整个前向传播、反向回归与检测阶段与Cascade-RCNN的其余组件采用端到端方式联合训练。为训练与评估HandLer，我们还构建了YouTube-Hand数据集——首个大规模、具有挑战性的自然场景视频数据集，其中包含手部位置及其运动轨迹的精细标注。在该数据集及其他基准测试上的实验结果表明，HandLer在性能上显著超越了现有最先进的跟踪算法。