摘要
我们介绍了XKD，这是一种新颖的自监督框架，用于从未标记的视频中学习有意义的表示。XKD通过两个伪目标进行训练。首先，执行掩码数据重建以从音频和视觉流中学习特定模态的表示。其次，通过教师-学生设置在两种模态之间进行自监督跨模态知识蒸馏，以学习互补信息。我们引入了一种新颖的域对齐策略，以解决音频和视觉模态之间的域差异问题，从而实现有效的跨模态知识蒸馏。此外，为了开发一个能够同时处理音频和视觉流的通用网络，我们引入了XKD的模态无关变体，这些变体在不同的音频和视觉任务中使用相同的预训练骨干网络。我们提出的跨模态知识蒸馏方法在UCF101、HMDB51和Kinetics400数据集上将视频动作分类性能提高了8%到14%。此外，XKD在Kinetics-Sound数据集上的多模态动作分类性能提高了5.5%。XKD在ESC50数据集的声音分类任务中表现出最先进的性能，达到了96.5%的Top-1准确率。
代码仓库
pritamqu/XKD
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| self-supervised-action-recognition-on-1 | XKD (ViT-B/112/16) | Top-1 accuracy %: 77.6 Top-5 Accuracy %: 92.9 |
| self-supervised-action-recognition-on-hmdb51 | XKD-Modality-Agnostic (ViT-B/112/16) | Top-1 Accuracy: 65.9 |
| self-supervised-action-recognition-on-hmdb51 | XKD (ViT-B/112/16) | Top-1 Accuracy: 69 |
| self-supervised-action-recognition-on-ucf101 | XKD-Modality-Agnostic (ViT-B/112/16) | 3-fold Accuracy: 93.4 |
| self-supervised-action-recognition-on-ucf101 | XKD (ViT-B/112/16) | 3-fold Accuracy: 94.1 Pre-Training Dataset: Kinetics400 |