摘要

本文提出了一种基于元学习的自蒸馏框架（MetaSD），用于知识图谱补全任务中的动态剪枝，旨在学习紧凑的图嵌入表示并有效处理长尾样本。具体而言，我们首先提出一种动态剪枝技术，从大型源模型中构建一个小型剪枝模型，其中剪枝掩码可在每轮训练后根据模型权重的更新自适应调整。该剪枝模型被设计为对难以记忆的样本（如长尾样本）具有更强的敏感性，相较于源模型更具判别能力。随后，我们提出一种单步元自蒸馏方法，实现从源模型到剪枝模型的全面知识迁移，使得两个模型在训练过程中以动态协同的方式共同演化。特别地，我们利用在单次迭代中与源模型并行训练的剪枝模型的性能表现，通过元学习机制优化源模型在下一轮迭代中的知识迁移能力。大量实验结果表明，MetaSD在性能上可与强基准方法相媲美，同时模型规模仅为基准方法的十分之一。