摘要

本文探讨了利用知识蒸馏方法改进多任务深度神经网络（MT-DNN）（Liu等人，2019年），以提高其在多个自然语言理解任务中学习文本表示的能力。尽管集成学习可以提升模型性能，但部署大型DNN（如MT-DNN）的集成模型可能会带来过高的成本。在此研究中，我们在多任务学习环境中应用了知识蒸馏方法（Hinton等人，2015年）。对于每个任务，我们训练了一个由不同MT-DNN组成的集成模型（教师模型），其性能优于任何单一模型，然后通过多任务学习训练一个单一的MT-DNN（学生模型），从这些集成教师模型中提取知识。实验结果表明，在GLUE基准测试的9个任务中的7个任务上，经过蒸馏的MT-DNN显著优于原始的MT-DNN，将GLUE基准测试（单模型）成绩提升至83.7%（绝对提升了1.5%注释：基于2019年4月1日https://gluebenchmark.com/leaderboard上的GLUE排行榜数据）。相关代码和预训练模型将在https://github.com/namisan/mt-dnn公开发布。