3 个月前

Def2Vec:基于词典定义的可扩展词嵌入

Def2Vec:基于词典定义的可扩展词嵌入

摘要

Def2Vec 提出了一种词嵌入的新范式,通过利用词典定义来学习语义表示。该方法通过从词典定义构建词-文档矩阵,并应用潜在语义分析(Latent Semantic Analysis, LSA),生成兼具优异性能与良好可扩展性的词向量。在词性标注、命名实体识别、短语切分以及语义相似性等任务的评估中,Def2Vec 的表现通常与当前最优模型(如 Word2Vec、GloVe 和 fastText)相当,甚至在某些情况下更优。该模型经 LSA 分解所得的第二个矩阵,使得对未登录词(out-of-vocabulary words)的嵌入扩展变得高效可行。通过有效融合词典定义的优势与基于 LSA 的嵌入方法,Def2Vec 能够生成信息丰富且语义准确的表示,尤其在数据需求显著降低的前提下展现出突出优势。本研究通过引入结构化词汇信息并实现高效的嵌入扩展机制,推动了对词嵌入生成方法的深入理解。

基准测试

基准方法指标
chunking-on-conll-2003Def2Vec
AUC: 93.07
Accuracy: 77.69
F1: 81.45
Precision: 86.56
Recall: 77.69
ner-on-conll-2003-1Def2Vec
AUC: 96.28
Accuracy: 71.98
F1: 83.09
Precision: 99.28
Recall: 71.98
semantic-textual-similarity-on-sts-benchmarkDef2Vec
Spearman Correlation: 0.6372

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Def2Vec:基于词典定义的可扩展词嵌入 | 论文 | HyperAI超神经