摘要

识别人类活动是机器人在人类环境中发挥实用价值所必需的关键能力之一。尽管现代机器人配备了多种类型的传感器，但人类活动识别（Human Activity Recognition, HAR）在噪声传感器数据存在的情况下仍是一项极具挑战性的任务。本文提出一种基于多模态图注意力机制的人类活动识别方法，称为Multi-GAT，该方法通过层次化的方式学习互补的多模态特征。我们构建了一个多模态专家混合模型（mixture-of-experts），以解耦并提取具有代表性的模态特异性特征，从而促进不同模态间的特征交互。此外，我们引入了一种基于消息传递机制的新型图注意力方法，用于捕捉跨模态关系，进一步提取互补的多模态特征。在两个多模态人类活动数据集上的实验结果表明，Multi-GAT在所有测试数据集和评估指标上均优于现有的最先进HAR算法。更重要的是，在含有噪声传感器数据的实验中，Multi-GAT始终显著优于所有对比基线方法。其出色的鲁棒性表明，Multi-GAT有望在噪声干扰较大的人类环境中实现无缝的人机协作。