摘要

使用三维卷积神经网络（3D-CNN）学习到的时空表示目前在最先进的动作相关任务中得到了广泛应用。然而，与更为简单的二维卷积神经网络（2D-CNN）架构相比，3D-CNN以消耗大量内存和计算资源而著称。本文提出了一种方法，通过让一个2D-CNN学生模型从3D-CNN教师模型中“幻觉”出时空表示来解决这一问题。通过要求2D-CNN预测未来并直观地推断即将发生的活动，该方法鼓励其对动作及其演变获得更深入的理解。幻觉任务被视为辅助任务，在多任务学习设置中可以与其他任何动作相关任务结合使用。详尽的实验评估表明，幻觉任务确实有助于提高动作识别、动作质量评估和动态场景识别任务的性能。从实际应用的角度来看，能够在没有实际3D-CNN的情况下“幻觉”出时空表示，可以实现在资源受限的场景中的部署，例如计算能力有限和/或带宽较低的情况。代码库可在此处获取：https://github.com/ParitoshParmar/HalluciNet。