摘要

我们提出 RobeCzech，这是一个基于捷克语数据训练的单语 RoBERTa 语言表示模型。RoBERTa 是一种基于 Transformer 的鲁棒优化预训练方法。实验结果表明，RobeCzech 在性能上显著优于同等规模的多语言及捷克语专用上下文感知语言表示模型，在所评估的五项自然语言处理任务中均超越当前最优水平，并在其中四项任务中达到最先进（state-of-the-art）性能。RobeCzech 模型已公开发布，访问地址为 https://hdl.handle.net/11234/1-3691 和 https://huggingface.co/ufal/robeczech-base。