摘要
近期，仅有解码器的预训练大型语言模型（LLMs）拥有数十亿参数，对自然语言处理（NLP）领域的多种任务产生了显著影响。尽管仅编码器或编码器-解码器预训练语言模型已经在篇章分析中证明了其有效性，但大型语言模型在这一任务上的表现程度仍是一个开放的研究问题。因此，本文探讨了此类大型语言模型对于修辞结构理论（RST）篇章分析的益处。在此研究中，基本的自顶向下和自底向上策略的解析过程被转化为提示，以便大型语言模型能够处理。我们使用Llama 2，并通过QLoRA对其进行微调，后者具有较少可调参数。实验结果表明，在三个基准数据集RST-DT、Instr-DT和GUM语料库上，采用自底向上策略的700亿参数Llama 2取得了显著优于现有方法的最先进（SOTA）结果。此外，我们的解析器在RST-DT数据集上的评估显示了良好的泛化能力，尽管是在GUM语料库上进行训练的，但其性能与在RST-DT数据集上训练的现有解析器相当。
代码仓库
nttcslab-nlp/rstparser_eacl24
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| discourse-parsing-on-rst-dt | Top-down Llama 2 (13B) | Standard Parseval (Full): 55.6 Standard Parseval (Nuclearity): 67.9 Standard Parseval (Relation): 57.7 Standard Parseval (Span): 78.6 |
| discourse-parsing-on-rst-dt | Bottom-up Llama 2 (70B) | Standard Parseval (Full): 58.1 Standard Parseval (Nuclearity): 70.4 Standard Parseval (Relation): 60.0 Standard Parseval (Span): 79.8 |
| discourse-parsing-on-rst-dt | Bottom-up Llama 2 (13B) | Standard Parseval (Full): 56.0 Standard Parseval (Nuclearity): 68.1 Standard Parseval (Relation): 57.8 Standard Parseval (Span): 78.3 |
| discourse-parsing-on-rst-dt | Top-down Llama 2 (7B) | Standard Parseval (Full): 53.4 Standard Parseval (Nuclearity): 65.4 Standard Parseval (Relation): 55.2 Standard Parseval (Span): 76.3 |
| discourse-parsing-on-rst-dt | Top-down Llama 2 (70B) | Standard Parseval (Full): 56.0 Standard Parseval (Nuclearity): 68.7 Standard Parseval (Relation): 57.7 Standard Parseval (Span): 78.8 |
| discourse-parsing-on-rst-dt | Bottom-up Llama 2 (7B) | Standard Parseval (Full): 55.8 Standard Parseval (Nuclearity): 67.5 Standard Parseval (Relation): 57.6 Standard Parseval (Span): 78.2 |