摘要

我们提出了一种针对无人机（UAV）视频中动作识别的新方法。该方法的设计旨在应对无人机运动所引起的遮挡和视角变化问题。通过引入互信息（mutual information）的概念，我们在时间域上计算并对齐与人体动作或运动相对应的区域，从而使识别模型能够学习到与运动相关的关键特征。此外，我们提出了一种新颖的帧采样方法，利用联合互信息（joint mutual information）选取无人机视频中最具信息量的帧序列，以提升模型的表征能力。我们将该方法与X3D模型相结合，并在多个公开数据集上进行了评估。实验结果表明，在UAV-Human数据集（Li et al., 2021）上，我们的方法相较当前最先进方法在Top-1准确率上提升了18.9%；在Drone-Action数据集（Perera et al., 2019）上提升了7.3%；在NEC Drones数据集（Choi et al., 2020）上提升了7.16%。