摘要

本文介绍了多语言掩码语言模型针对特定语言进行适应的方法。预训练的双向语言模型在包括阅读理解、自然语言推理和情感分析在内的广泛任务上表现出最先进的性能。目前，训练此类模型有两种替代方法：单语种和多语种。虽然特定语言的模型表现出更优的性能，但多语种模型可以实现从一种语言到另一种语言的知识迁移，并同时解决不同语言的任务。本研究显示，从多语种模型向单语种模型进行迁移学习，可以在阅读理解、同义句检测和情感分析等任务上显著提升性能。此外，使用多语种模型初始化单语种模型可以大幅减少训练时间。针对俄语的预训练模型已开源。