摘要

第一人称动作预测涉及理解摄像机佩戴者在不久的将来将与哪些物体互动以及将执行哪些动作。我们提出了一种架构，该架构能够使用两个LSTM（长短期记忆网络）在多个时间尺度上预测动作：1）总结过去，2）对未来进行预测。输入视频通过考虑三种互补模态进行处理：外观（RGB）、运动（光流）和物体（基于物体的特征）。特定模态的预测通过一种新颖的模态注意力（MATT）机制进行融合，该机制能够自适应地学习不同模态的权重。在两个大规模基准数据集上的广泛评估表明，我们的方法在具有挑战性的EPIC-Kitchens数据集上表现优于现有技术，最高可提升7%，该数据集包含超过2500个动作，并且可以推广到EGTEA Gaze+数据集。我们的方法还被证明可以应用于早期动作识别和动作识别任务。我们的方法在2019年EPIC-Kitchens第一人称动作预测挑战赛的公开排行榜中排名第一。请参阅我们的网页以获取代码和示例：http://iplab.dmi.unict.it/rulstm - https://github.com/fpv-iplab/rulstm。