摘要

在人类活动分类的研究中，已有大量工作依赖惯性测量单元（IMU）数据或提供第三人称视角的静态摄像机数据。仅使用IMU数据会限制可检测活动的多样性和复杂性。例如，虽然可以通过IMU数据检测到坐下的活动，但无法确定受试者是坐在椅子上还是沙发上，也无法确定其具体位置。为了从第一人称视频中进行细粒度的活动分类，并区分仅凭IMU数据无法区别的活动，我们提出了一种利用第一人称视觉相机和IMU数据的自主且鲁棒的方法。与基于卷积神经网络的方法不同，我们建议使用胶囊网络从第一人称视频数据中提取特征。此外，我们在第一人称视频和IMU数据上均采用了卷积长短期记忆（Convolutional LSTM）框架，以捕捉动作的时间特性。我们还提出了一种基于遗传算法的方法，用于自主且系统地设置各种网络参数，而不是手动调整。实验结果显示，在进行9类和26类活动分类时，所提出的使用自主设置网络参数的方法取得了非常有前景的结果，总体准确率分别达到了86.6%和77.2%。与单独使用第一人称视觉数据或单独使用IMU数据相比，所提出的结合两种模态的方法也显著提高了准确性。