3 个月前

基于异构注意力的Levi图AMR解析器

基于异构注意力的Levi图AMR解析器

摘要

结合双线性解码器(biaffine decoders),Transformer 模型已被有效应用于文本到图结构的转换任务,并在 AMR(Abstract Meaning Representation)解析中取得了当前最优的性能。然而,以往的多数方法均依赖双线性解码器来完成弧(arc)或标签(label)的预测,尽管这些解码器所使用的大部分特征其实已可通过 Transformer 自行学习。本文提出一种新型 AMR 解析方法:将异构数据(包括词元、概念和标签)统一作为输入送入 Transformer,使其通过自注意力机制联合建模;随后,仅利用 Transformer 输出的注意力矩阵来预测 AMR 图中的所有元素,包括概念、弧和标签。尽管本方法所使用的参数量显著少于此前的最先进图解析模型,但在 AMR 2.0 和 AMR 3.0 数据集上仍表现出相当甚至更优的解析准确率。

代码仓库

基准测试

基准方法指标
amr-parsing-on-ldc2017t10ND+AD+LV
Smatch: 80

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于异构注意力的Levi图AMR解析器 | 论文 | HyperAI超神经