摘要

序列标注任务需要为给定句子中的每个单词计算句子表示。一种常用的方法是在模型中加入双向长短期记忆（BiLSTM）层，以增强序列结构信息。然而，实证证据表明，Li（2020）指出BiLSTM在生成用于序列标注任务的句子表示方面存在固有限制。这种限制主要源于将过去和未来的句子片段表示整合以形成完整的句子表示。在本研究中，我们观察到，在BiLSTM的第一个和最后一个单元中找到的整个句子表示可以补充每个单元的个体句子表示。因此，我们设计了一种全局上下文机制，将整个未来的和过去的句子表示整合到BiLSTM框架中每个单元的句子表示中。通过在BiLSTM中引入BERT模型作为示例，并对包括命名实体识别（NER）、词性标注（POS）和端到端基于方面的 sentiment 分析（E2E-ABSA）在内的九个序列标注数据集进行详尽实验，我们在所有考察的数据集中均观察到了F1分数和准确率的显著提升。