HyperAIHyperAI

Command Palette

Search for a command to run...

SemBleu:一种用于AMR解析评估的稳健度量指标

Linfeng Song; Daniel Gildea

摘要

评估AMR解析准确性涉及比较成对的AMR图。主要的评估指标SMATCH(Cai和Knight,2013)通过贪婪爬山算法在两个AMR的节点之间寻找一对一映射,这可能导致搜索错误。我们提出了一种稳健的指标SEMBLEU,该指标扩展了BLEU(Papineni等,2002)以适用于AMR图。SEMBLEU不会受到搜索错误的影响,并且除了考虑局部对应关系外,还考虑非局部对应关系。SEMBLEU完全由内容驱动,并惩罚系统输出未能保留输入大部分信息的情况。初步实验在句子和语料库层面上均表明,SEMBLEU与人类判断的一致性略高于SMATCH。我们的代码可在http://github.com/freesunshine0316/sembleu获取


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SemBleu:一种用于AMR解析评估的稳健度量指标 | 论文 | HyperAI超神经