3 个月前

词汇与语法处理对自然语言生成代码的影响

词汇与语法处理对自然语言生成代码的影响

摘要

考虑到TranX在自然语言到代码翻译任务中所采用的序列到序列(seq2seq)架构,我们识别出四个关键组成部分:语法约束、词汇预处理、输入表示以及复制机制。为研究这些组件的影响,我们采用了一种前沿的架构,该架构基于BERT编码器和基于语法的解码器,并提供了该解码器的形式化定义。论文强调了当前自然语言到代码系统中词汇替换组件的重要性。

代码仓库

基准测试

基准方法指标
code-generation-on-conalaTranX + BERT w/mined
BLEU: 34.2
Exact Match Accuracy: 5.8
code-generation-on-djangoTranX + BERT w/mined
Accuracy: 81.03
BLEU Score: 79.86

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
词汇与语法处理对自然语言生成代码的影响 | 论文 | HyperAI超神经