摘要

我们提出了一种高效的方法，用于在训练单模态三维卷积神经网络（3D-CNNs）进行动态手势识别任务时利用多模态知识。与许多现有方法中显式结合多模态信息的做法不同，我们提出了一个不同的框架，通过将多模态知识嵌入到各个网络中，使每个单模态网络都能实现性能提升。具体而言，我们为每种可用的模态分配独立的网络，并强制这些网络协作学习，以开发具有共同语义和更好表示的网络。为此，我们引入了一种“时空语义对齐”损失（SSA），用于对齐来自不同网络的特征内容。此外，我们通过提出的“焦点正则化参数”对该损失进行正则化，以避免负向知识迁移。实验结果表明，我们的框架提高了单模态网络在测试时的手势识别准确性，并在多个动态手势识别数据集上提供了最先进的性能。