摘要

基于骨骼数据的人体活动识别（Human Activity Recognition, HAR）是一种时间序列分类问题，其骨骼数据可从视频中提取（如Kinect设备），或由深度摄像头直接提供。在此类任务中，有效处理空间与时间依赖关系是实现高精度识别的关键。在在线人体活动识别场景中，准确识别动作的起始与终止时刻尤为重要，但在连续数据流中实现这一目标往往具有挑战性。本文提出一种三维骨骼数据编码方法，可将骨骼关节之间的空间与时间依赖关系编码为一张图像，从而保留原始数据中的结构信息。为支持在线动作检测，我们将该编码方法与连续数据流上的滑动窗口机制相结合。通过该方式，无需预先设定动作的起始或结束时间戳，系统可在任意时刻完成活动识别。最终，采用深度卷积神经网络（CNN）算法实现对动作的实时在线检测。