3 个月前

基于结构感知的序列到序列Transformer在基于转换的AMR解析中的微调

基于结构感知的序列到序列Transformer在基于转换的AMR解析中的微调

摘要

利用预训练的序列到序列Transformer模型预测线性化的抽象语义表示(AMR)图,近期在AMR解析基准测试中取得了显著进展。这类解析器结构简单,无需显式建模语法结构,但缺乏诸如图结构合法性保证或内置的图-句对齐等理想特性。本文探讨了将通用预训练序列到序列语言模型与一种结构感知的基于转移的解析方法相结合的可行性。我们基于指针驱动的转移系统展开研究,并提出了一种简化的转移规则集,旨在更有效地利用预训练语言模型进行结构化微调。此外,我们还探索了在预训练编码器-解码器架构中建模解析器状态,以及针对该目标采用的不同词汇策略。通过与近期AMR解析领域的进展进行详细对比,我们表明所提出的解析器在保持以往基于转移方法优良特性的基础上,结构更为简洁,并在AMR 2.0数据集上达到了新的解析性能上限,且无需进行图结构重新分类。

代码仓库

基准测试

基准方法指标
amr-parsing-on-ldc2017t10StructBART-J (IBM)
Smatch: 84.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于结构感知的序列到序列Transformer在基于转换的AMR解析中的微调 | 论文 | HyperAI超神经