4 个月前

半监督神经模型词语义消歧

半监督神经模型词语义消歧

摘要

确定文本中词语的意图含义——词语义消歧(Word Sense Disambiguation, WSD)——是自然语言处理领域的一个长期问题。近期,研究人员在WSD算法中使用从神经网络语言模型中提取的词向量作为特征,取得了令人鼓舞的结果。然而,对文本中的每个词向量进行简单的平均或拼接会丢失文本的顺序和句法信息。本文研究了使用序列学习神经网络LSTM来更好地捕捉文本的顺序和句法模式的WSD方法。为了缓解全词语WSD训练数据不足的问题,我们采用了半监督标签传播分类器中的同一LSTM模型。实验结果表明,该方法在动词上的表现尤为出色,达到了当前最佳水平。

基准测试

基准方法指标
word-sense-disambiguation-on-semeval-2007LSTMLP (T:SemCor, U:OMSTI)
F1: 63.7
word-sense-disambiguation-on-semeval-2007LSTM (T:OMSTI)
F1: 60.7
word-sense-disambiguation-on-semeval-2007LSTMLP (T:OMSTI, U:1K)
F1: 63.3
word-sense-disambiguation-on-semeval-2007LSTMLP (T:SemCor, U:1K)
F1: 63.5
word-sense-disambiguation-on-semeval-2007LSTM (T:SemCor)
F1: 64.2
word-sense-disambiguation-on-semeval-2007-1LSTMLP (T:OMSTI, U:1K)
F1: 83.3
word-sense-disambiguation-on-semeval-2007-1LSTM (T:SemCor)
F1: 82.8
word-sense-disambiguation-on-semeval-2007-1LSTM (T:OMSTI)
F1: 81.1
word-sense-disambiguation-on-semeval-2007-1LSTMLP (T:SemCor, U:OMSTI)
F1: 84.3
word-sense-disambiguation-on-semeval-2007-1LSTMLP (T:SemCor, U:1K)
F1: 83.6
word-sense-disambiguation-on-semeval-2013LSTM (T:SemCor)
F1: 67.0
word-sense-disambiguation-on-semeval-2013LSTMLP (T:SemCor, U:1K)
F1: 69.5
word-sense-disambiguation-on-semeval-2013LSTMLP (T:OMSTI, U:1K)
F1: 68.1
word-sense-disambiguation-on-semeval-2013LSTMLP (T:SemCor, U:OMSTI)
F1: 67.9
word-sense-disambiguation-on-semeval-2013LSTM (T:OMSTI)
F1: 67.3
word-sense-disambiguation-on-senseval-2LSTMLP (T:OMSTI, U:1K)
F1: 74.4
word-sense-disambiguation-on-senseval-2LSTM (T:SemCor)
F1: 73.6
word-sense-disambiguation-on-senseval-2LSTMLP (T:SemCor, U:OMSTI)
F1: 73.9
word-sense-disambiguation-on-senseval-2LSTMLP (T:SemCor, U:1K)
F1: 73.8
word-sense-disambiguation-on-senseval-2LSTM (T:OMSTI)
F1: 72.4
word-sense-disambiguation-on-senseval-3-taskLSTMLP (T:SemCor, U:OMSTI)
F1: 71.1
word-sense-disambiguation-on-senseval-3-taskLSTMLP (T:SemCor, U:1K)
F1: 71.8
word-sense-disambiguation-on-senseval-3-taskLSTMLP (T:OMSTI, U:1K)
F1: 71.0
word-sense-disambiguation-on-senseval-3-taskLSTM (T:SemCor)
F1: 69.2
word-sense-disambiguation-on-senseval-3-taskLSTM (T:OMSTI)
F1: 64.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
半监督神经模型词语义消歧 | 论文 | HyperAI超神经