摘要

预训练语言模型在实现自然语言处理（NLP）诸多任务的优异性能方面已变得至关重要。尽管低资源语言的单语预训练模型数量已显著增加，但其中大多数仍聚焦于通用领域，针对特定领域的强大基准语言模型仍十分有限。为此，我们提出了ViHealthBERT，这是首个面向越南语医疗健康领域的专用预训练语言模型。实验结果表明，该模型在所有与健康相关的数据集上均显著优于通用领域语言模型，展现出强劲的性能表现。此外，我们还构建了用于越南语医疗健康领域的两个任务数据集，分别为缩略语消歧（Acronym Disambiguation, AD）和常见问题（FAQ）摘要生成。我们已公开发布ViHealthBERT，旨在推动越南语特定领域自然语言处理的后续研究与下游应用发展。