3 个月前

通过嵌入向量间距离的性质加速Word Mover's Distance及其变体

通过嵌入向量间距离的性质加速Word Mover's Distance及其变体

摘要

由Kusner等人提出的词移动距离(Word Mover's Distance, WMD)是一种衡量文档间距离的方法,该方法利用词嵌入所捕捉的词语之间的语义关系。WMD在文本分类任务中表现出色,取得了当时最先进的分类误差率,但由于其计算复杂度较高,难以应用于大规模文档集合。为解决这一问题,研究者提出了多种WMD的变体。其中,松弛词移动距离(Relaxed Word Mover's Distance, RWMD)因其结构简洁、效果优异以及高效的实现方式而成为最具代表性的一种。基于词嵌入间距离所具有的经验性特性,我们提出了一种加速WMD与RWMD计算的新方法。在10个数据集上的实验结果表明,该方法在保持原有分类准确率不变的前提下,显著提升了文档分类任务的计算效率。

代码仓库

matwerner/fast-wmd
官方
GitHub 中提及

基准测试

基准方法指标
document-classification-on-amazonREL-RWMD k-NN
Accuracy: 93.03
document-classification-on-bbcsportREL-RWMD k-NN
Accuracy: 95.18
document-classification-on-classicREL-RWMD k-NN
Accuracy: 96.85
document-classification-on-recipeREL-RWMD k-NN
Accuracy: 56.80
document-classification-on-reuters-21578REL-RWMD k-NN
Accuracy: 95.61
document-classification-on-twitterREL-RWMD k-NN
Accuracy: 71.05
text-classification-on-20newsREL-RWMD k-NN
Accuracy: 74.78
text-classification-on-ohsumedREL-RWMD k-NN
Accuracy: 58.74

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过嵌入向量间距离的性质加速Word Mover's Distance及其变体 | 论文 | HyperAI超神经