最近的研究表明，生成式预训练在英语自然语言理解方面具有高效性。在这项工作中，我们将这种方法扩展到多种语言，并展示了跨语言预训练的有效性。我们提出了两种学习跨语言模型（XLM）的方法：一种是无监督方法，仅依赖单语数据；另一种是有监督方法，利用平行数据并引入新的跨语言模型目标。我们在跨语言分类、无监督和有监督机器翻译方面取得了最先进的结果。在XNLI（Cross-lingual Natural Language Inference）上，我们的方法将准确率绝对提高了4.9%。在无监督机器翻译中，我们在WMT'16德英翻译任务上获得了34.3的BLEU分数，比之前的最佳方法提高了超过9个BLEU点。在有监督机器翻译中，我们在WMT'16罗英翻译任务上达到了38.5的BLEU分数，超过了之前最佳方法超过4个BLEU点。我们的代码和预训练模型将公开发布。