摘要

双向长短期记忆（Bi-LSTM）网络在各种自然语言处理（NLP）序列建模任务中已证明其有效性，但对其依赖输入表示、目标语言、数据集大小和标签噪声的研究尚不多见。本文针对这些问题，评估了使用词嵌入、字符嵌入和Unicode字节嵌入的Bi-LSTM网络在词性标注任务中的表现。我们比较了不同语言和数据规模下Bi-LSTM与传统词性标注器的性能。此外，我们提出了一种新颖的Bi-LSTM模型，该模型将词性标注损失函数与一个辅助损失函数结合，以处理罕见词问题。该模型在22种语言上取得了最先进的性能，并且在形态学复杂的语言中表现尤为出色。我们的分析表明，Bi-LSTM对训练数据量和标签错误（在低噪声水平下）的敏感度低于先前假设。