我们介绍了XKD，这是一种新颖的自监督框架，用于从未标记的视频中学习有意义的表示。XKD通过两个伪目标进行训练。首先，执行掩码数据重建以从音频和视觉流中学习特定模态的表示。其次，通过教师-学生设置在两种模态之间进行自监督跨模态知识蒸馏，以学习互补信息。我们引入了一种新颖的域对齐策略，以解决音频和视觉模态之间的域差异问题，从而实现有效的跨模态知识蒸馏。此外，为了开发一个能够同时处理音频和视觉流的通用网络，我们引入了XKD的模态无关变体，这些变体在不同的音频和视觉任务中使用相同的预训练骨干网络。我们提出的跨模态知识蒸馏方法在UCF101、HMDB51和Kinetics400数据集上将视频动作分类性能提高了8%到14%。此外，XKD在Kinetics-Sound数据集上的多模态动作分类性能提高了5.5%。XKD在ESC50数据集的声音分类任务中表现出最先进的性能，达到了96.5%的Top-1准确率。