摘要

本文提出了一种面向知识图谱（Knowledge Graph, KG）补全任务的轻量级参数迁移学习方法，适用于预训练语言模型（Language Model, LM）。与需要调整所有模型参数的微调（fine-tuning）方法不同，本方法仅优化少量新增参数，同时保持原始语言模型参数固定不变。为此，我们将知识图谱补全任务重新建模为“填空”形式，并在原始语言模型之上引入一个轻量级编码器。实验结果表明，相较于传统微调方法，该方法仅需调整极少量参数，即可实现语言模型向各类任务的有效迁移，并在性能上达到与现有最先进方法相媲美的水平。例如，在一个知识图谱补全基准测试中，我们仅调整了1%的参数，便超越了完全微调的方法。相关代码与数据集已公开，详见 \url{https://github.com/yuanyehome/PALT}。