4 个月前

字符级表示在BERT时代仍能改善基于DRS的语义分析

字符级表示在BERT时代仍能改善基于DRS的语义分析

摘要

我们结合了字符级和上下文语言模型表示,以提高在话语表示结构解析中的性能。字符表示可以轻松地添加到序列到序列模型中,既可以作为一个编码器的一部分,也可以作为完全独立的编码器,这些改进对不同的语言模型、语言和数据集都具有鲁棒性。对于英语而言,这些改进比单独添加语言学信息或非上下文嵌入的效果更大。一种基于语义标签的新分析方法表明,字符级表示在选定的语义现象子集中提高了性能。

代码仓库

RikVN/Neural_DRS
官方
pytorch
shenminx/drs-parser
GitHub 中提及

基准测试

基准方法指标
drs-parsing-on-pmb-2-2-0Bi-LSTM seq2seq: BERT + characters in 1 encoder
F1: 88.3
drs-parsing-on-pmb-3-0-0Bi-LSTM seq2seq: BERT + characters in 1 encoder
F1: 89.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
字符级表示在BERT时代仍能改善基于DRS的语义分析 | 论文 | HyperAI超神经