摘要

人体活动识别（HAR）是许多新兴应用的关键组成部分，如智能移动、体育分析、环境辅助生活和人机交互。通过强大的HAR，系统将更加了解人类行为，从而实现更安全、更具同理心的自主系统。尽管深度卷积神经网络（CNNs）的出现使得人体姿态检测取得了显著进展，但当前最前沿的研究几乎 exclusively 集中在单一感知模态上，尤其是视频。然而，在安全性至关重要的应用中，利用多种传感器模态进行稳健操作是必不可少的。为了充分利用最先进的机器学习技术进行HAR，拥有多模态数据集极为重要。本文介绍了一个新颖的多模态传感器数据集，涵盖了16名参与者执行的九种室内活动，并通过四种常用于室内应用和自动驾驶车辆的传感器进行了捕捉。这个多模态数据集是首个公开发布的此类数据集，可以应用于需要HAR的各种场景，包括体育分析、医疗辅助和室内智能移动。我们提出了一种新的数据预处理算法，以实现从该数据集中提取适应性特征，供不同的机器学习算法使用。通过严格的实验评估，本文回顾了机器学习方法在姿态识别中的性能，并分析了算法的鲁棒性。当使用我们新数据集中的RGB-Depth数据进行HAR时，诸如深度神经网络等机器学习算法在所有静态和动态活动分类上的平均准确率达到了96.8%。注释：- “exclusively” 在此上下文中翻译为“几乎集中”，以避免过于绝对化的表述。- “RGB-Depth” 翻译为“RGB-D”，这是常见的术语缩写。