3 个月前

神经语义解析中的重排序

神经语义解析中的重排序

摘要

语义解析旨在将自然语言(NL)语句转换为可由机器执行的意义表示(MR)。尽管基于神经网络的语义解析器相较于以往方法取得了显著进步,但其结果仍远未完善,仅通过粗略的人工检查即可发现生成的意义表示存在明显问题,例如语义不充分或逻辑不连贯。本文提出一种简单高效的方法,通过重新排序预测出的n-best意义表示列表,对现有神经语义解析器进行快速迭代与性能提升。该方法利用专门设计的特征来修复基线模型中存在的问题。我们在一个具有竞争力的神经语义解析器中实现了该重排序器,并在四个任务上进行了测试:两个语义解析任务(GEO、ATIS)和两个Python代码生成任务(Django、CoNaLa)。实验结果表明,该方法在CoNaLa任务上将BLEU得分提升了高达5.7个百分点,在Django任务上将准确率提升了2.9个百分点,显著优于所有四个数据集上已发表的最佳神经语义解析器结果。

基准测试

基准方法指标
code-generation-on-conalaReranker
BLEU: 30.11
Exact Match Accuracy: 2.8
code-generation-on-conala-extReranker
BLEU: 19.85
code-generation-on-djangoReranker
Accuracy: 80.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
神经语义解析中的重排序 | 论文 | HyperAI超神经