摘要

在本文中，我们针对第一人称视角动作预测问题展开研究，即预测摄像头佩戴者在未来短时间内将执行的动作及其将交互的物体。具体而言，我们提出了一种名为“滚动-展开LSTM”（Rolling-Unrolling LSTM）的学习架构，用于从第一人称视频中预测动作。该方法基于三个核心组件：1）由两个LSTM组成的网络结构，分别用于建模历史信息的摘要与未来动作的推断；2）一种序列补全预训练（Sequence Completion Pre-Training）策略，促使LSTM分别聚焦于不同的子任务；3）一种模态注意力融合机制（Modality ATTention, MATT），能够高效融合对RGB帧、光流场以及基于物体的特征进行处理所得到的多模态预测结果。所提出的框架在EPIC-Kitchens、EGTEA Gaze+和ActivityNet三个基准数据集上进行了验证。实验结果表明，该架构在第一人称视频动作预测领域达到了当前最优水平，在2019年EPIC-Kitchens第一人称动作预测挑战赛中取得了领先性能。此外，该方法在ActivityNet数据集上也展现出具有竞争力的表现，尤其在不依赖无监督预训练的现有方法中表现突出，并且具备良好的泛化能力，可有效应用于早期动作识别与常规动作识别任务。为推动该挑战性课题的研究进展，我们已将代码、训练好的模型以及预先提取的特征文件公开发布于项目主页：http://iplab.dmi.unict.it/rulstm。