摘要

尽管针对英语等主流语言已有大量高质量的自然语言处理工具，但针对重要却资源匮乏的语言（如波斯语）而言，获取并集成功能完善的免费工具仍面临较大挑战。本文报告了一种我们构建的准确且高效的波斯语分析前端系统，可供希望处理书面波斯语的研究者参考与使用。该系统整合了若干现有组件与资源，包括基于Dadegan句法树库（Rasooli et al., 2013）训练的卡内基梅隆大学TurboParser与TurboTagger（Martins et al., 2010）、乌普萨拉大学开发的波斯语文本规范化工具PrePer（Seraji, 2013）、乌普萨拉大学的波斯语分词器（Seraji et al., 2012a），以及Jon Dehdari团队开发的PerStem词干提取工具（Jadidinejad et al., 2010）。在此基础上，我们还自主开发并公开了若干额外的文本规范化与分词模块。该系统在独立的句法分析测试集上取得了89.49%的依存句法标注依附率（labeled attachment score）、92.19%的无标注依附率（unlabeled attachment score）以及91.38%的标注准确率（label accuracy score）。所有所用组件与资源均免费开放获取。本文不仅详细介绍了各组件及其功能，还阐述了我们选择这些工具的技术依据与设计考量。