4 个月前

基于树结构的长短期记忆网络改进的语义表示

基于树结构的长短期记忆网络改进的语义表示

摘要

由于其在时间上具有优越的序列信息保存能力,长短期记忆网络(Long Short-Term Memory, LSTM)——一种计算单元更为复杂的递归神经网络——已经在多种序列建模任务中取得了显著成果。迄今为止,唯一被探索的LSTM底层结构是线性链。然而,自然语言表现出句法特性,这些特性会自然地将单词组合成语块。我们引入了树形LSTM(Tree-LSTM),即将LSTM推广到树形结构的网络拓扑。在两个任务上,树形LSTM的表现优于所有现有系统和强大的LSTM基线模型:预测两个句子的语义相关性(SemEval 2014,任务1)和情感分类(斯坦福情感树库)。

代码仓库

inyukwo1/tree-lstm
pytorch
GitHub 中提及
rohitguptacs/ReVal
pytorch
GitHub 中提及
tensorflow/fold
tf
GitHub 中提及
jayanti-prasad/TreeLSTM
pytorch
GitHub 中提及
zxk19981227/LSTM-SST
pytorch
GitHub 中提及
munashe5/SemanticTreeLSTM
tf
GitHub 中提及
EmilReinert/DeepLearningPipelines
pytorch
GitHub 中提及
stanfordnlp/treelstm
官方
pytorch
GitHub 中提及
vastsak/tree_structured_gru
tf
GitHub 中提及
tomekkorbak/treehopper
pytorch
GitHub 中提及
dasguptar/treelstm.pytorch
pytorch
GitHub 中提及
ttpro1995/TreeLSTMSentiment
pytorch
GitHub 中提及

基准测试

基准方法指标
semantic-similarity-on-sickBidirectional LSTM (Tai et al., 2015)
MSE: 0.2736
Pearson Correlation: 0.8567
Spearman Correlation: 0.7966
semantic-similarity-on-sickLSTM (Tai et al., 2015)
MSE: 0.2831
Pearson Correlation: 0.8528
Spearman Correlation: 0.7911
semantic-similarity-on-sickDependency Tree-LSTM (Tai et al., 2015)
MSE: 0.2532
Pearson Correlation: 0.8676
Spearman Correlation: 0.8083
sentiment-analysis-on-sst-2-binary2-layer LSTM [tai2015improved]
Accuracy: 86.3
sentiment-analysis-on-sst-2-binaryConsistency Tree LSTM with tuned Glove vectors [tai2015improved]
Accuracy: 88.0
sentiment-analysis-on-sst-5-fine-grainedConstituency Tree-LSTM
Accuracy: 51.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于树结构的长短期记忆网络改进的语义表示 | 论文 | HyperAI超神经