摘要

大多数现有的预测系统都是基于记忆的方法，这些方法试图通过采用各种记忆机制来模仿人类的预测能力，并在时间建模以捕捉记忆依赖方面取得了进展。然而，这种范式的一个明显弱点是它只能建模有限的历史依赖关系，而无法超越过去。在本文中，我们重新思考了事件演化的时序依赖性，并提出了一种新的基于记忆-预期的范式，用于建模整个时间结构，包括过去、现在和未来。基于这一思想，我们介绍了记忆与预期变压器（Memory-and-Anticipation Transformer, MAT），这是一种基于记忆-预期的方法，旨在解决在线行为检测和预期任务。此外，由于MAT固有的优势，它可以统一处理在线行为检测和预期任务。所提出的MAT模型在四个具有挑战性的基准数据集TVSeries、THUMOS'14、HDD和EPIC-Kitchens-100上进行了测试，用于在线行为检测和预期任务，并显著优于所有现有方法。代码可在 https://github.com/Echo0125/Memory-and-Anticipation-Transformer 获取。