摘要

多模态人体动作分析是一个关键且具有吸引力的研究课题。然而，现有的大多数数据集仅提供视觉模态（即RGB、深度和骨架）。为弥补这一不足，我们在本研究中引入了一个新的大规模EV-Action数据集，该数据集包含RGB、深度、肌电图（EMG）以及两种骨架模态。与传统数据集相比，EV-Action数据集在两个方面取得了显著改进：(1) 我们部署了一套运动捕捉系统以获取高质量的骨架模态，这提供了更为全面的运动信息，包括骨架、轨迹、加速度等，其精度更高、采样频率更快，并且拥有更多的骨架标记点。(2) 我们引入了肌电图（EMG）模态，这种模态通常作为生物力学领域的有效指标，在与运动相关的研究中尚未得到充分探索。据我们所知，这是首个包含肌电图（EMG）模态的动作数据集。本文详细介绍了EV-Action数据集，并提出了一种简单而有效的基于肌电图（EMG）的动作识别框架。此外，我们应用了最先进的基线模型来评估所有模态的有效性。实验结果清楚地表明了肌电图（EMG）模态在人体动作分析任务中的有效性。我们希望这个数据集能够在人体运动分析、计算机视觉、机器学习、生物力学及其他跨学科领域做出重要贡献。