摘要

几篇最近的论文发布了针对约300种高资源和中资源语言的语言识别（LID）的良好解决方案。然而，目前尚无一种语言识别方法能够（i）覆盖广泛的低资源语言，（ii）经过严格评估且可靠，以及（iii）高效且易于使用。在此，我们发布了一种满足广泛覆盖、可靠性和高效性要求的语言识别模型——GlotLID-M。该模型能够识别1665种语言，相较于以往的工作，其覆盖范围有了显著增加。在我们的实验中，GlotLID-M在平衡F1分数和假阳性率（FPR）方面优于四个基线模型（CLD3、FT176、OpenLID和NLLB）。我们分析了低资源语言识别所面临的独特挑战：语料库元数据错误、高资源语言的泄露、难以区分关系密切的语言、宏观语言与变体的处理以及总体上的噪声数据问题。我们希望将GlotLID-M集成到数据集创建流程中能够提高质量并增强低资源语言和文化的自然语言处理技术的可访问性。GlotLID-M模型（包括未来版本）、代码及数据来源列表均可在以下链接获取：https://github.com/cisnlp/GlotLID。