摘要

语言模型在当前自然语言处理（NLP）领域已广泛应用，其多语言能力近年来受到广泛关注。然而，现有研究分析几乎全部集中于标准基准测试的多语言变体，并依赖于经过清洗的预训练数据以及针对特定任务的语料库作为多语言信号。本文提出XLM-T，一种用于在推特（Twitter）数据上训练和评估多语言语言模型的新方法。本文主要贡献包括：（1）提出一个全新的强大多语言基线模型，该模型基于XLM-R（Conneau等，2020）架构，在超过三十种语言的数百万条推文上进行预训练，并提供后续在目标任务上微调的初始代码；（2）构建了一套涵盖八种不同语言的统一情感分析推特数据集，并在此基础上训练了一个经过微调的XLM-T模型。