摘要

我们提出了一种简单而有效且灵活的动作识别方法，支持多种传感器模态。多变量信号序列被编码为图像，然后使用最近提出的EfficientNet卷积神经网络（CNN）架构进行分类。我们的重点是找到一种在不同传感器模态之间具有良好泛化能力的方法，无需特定的适应调整，同时仍能取得良好的结果。我们将该方法应用于包含骨架序列、惯性和运动捕捉测量以及Wi-Fi指纹的4个动作识别数据集，这些数据集涵盖了多达120个动作类别。我们的方法在NTU RGB+D 120数据集上定义了当前最佳的基于CNN的方法，在ARIL Wi-Fi数据集上将现有技术水平提高了6.78%，在UTD-MHAD惯性基线上提高了14.4%，在UTD-MHAD骨架基线上提高了1.13%，并在Simitate运动捕捉数据（80/20分割）上达到了96.11%的准确率。此外，我们还展示了在信号层面进行模态融合和信号减少以防止表示过载的实验。