摘要

第一人称手部活动识别是一项具有挑战性的任务，尤其是在数据量有限的情况下。本文提出了一种低成本的多阶段学习框架，用于在数据受限条件下基于第一人称RGB图像进行手部活动识别。针对给定的RGB图像活动序列，该框架在第一阶段利用预训练神经网络（NN）提取感兴趣区域；第二阶段通过预训练的深度神经网络提取高层空间特征；第三阶段学习时序依赖关系；最后，在第四阶段采用后融合策略，基于先前学习到的时序依赖关系，训练一个手部活动序列分类器。在两个真实世界数据集上的实验结果表明，所提出的框架达到了当前最先进的性能水平。此外，实验还验证了该框架在数据有限情况下仍能取得优异的识别效果。