摘要

一个字符序列可能包含一个或多个分词候选路径，这种现象可被视为分词歧义，可能削弱分词模型的性能。有效处理此类歧义有助于减少词边界判断上的不确定性。以往研究通过引入词图（lattice）结构，在图模型和预训练模型的辅助下，显著提升了分词性能并缓解了歧义问题，因为词图能够有效捕捉多种分词可能性。然而，现有方法在利用词图中所编码的多粒度信息（包括字符级与词级信息）方面仍显不足，未能充分挖掘其潜在价值。为增强词图中多粒度表征的表达能力，本文提出一种基于词图的注意力编码方法——Lattice ATTentive Encoding（LATTE），用于基于字符的分词任务。该模型利用词图结构处理分词歧义，结合图神经网络（Graph Neural Networks）与注意力机制，从词图中精准提取多粒度表征，以补充和增强字符级表示。实验结果表明，所提方法在中文（BCCWJ）、中文（CTB6）和泰语（BEST2010）三个语种的多个数据集上均取得了显著的分词性能提升，尤其在日语、中文和泰语任务中表现突出。