3 个月前

利用预训练词表示增强可解释条款的语义

利用预训练词表示增强可解释条款的语义

摘要

Tsetlin Machine(TM)是一种基于命题逻辑的可解释模式识别算法,在自然语言处理(NLP)的多项任务中表现出具有竞争力的性能,包括情感分析、文本分类以及词义消歧。为实现人类级别的可解释性,传统TM采用布尔型输入特征,例如词袋模型(Bag-of-Words, BOW)。然而,BOW表示方式难以利用预训练的语义信息,如word2vec和GloVe等词向量表示,这一局限性导致TM在NLP任务中的性能相较于深度神经网络(DNN)模型受到显著制约。为缩小这一性能差距,本文提出一种全新的方法,将预训练词向量有效融入TM框架。该方法通过从预训练词向量中提取语义相关词汇作为TM的输入特征,显著提升了TM的性能与可解释性。实验结果表明,所提出方法的准确率显著优于基于BOW的旧有TM模型,已达到基于DNN模型的水平。

代码仓库

基准测试

基准方法指标
sentiment-analysis-on-mrTM-Glove
Accuracy: 77.51
text-classification-on-r52TM-Glove
Accuracy: 89.14
text-classification-on-r8TM-Glove
Accuracy: 97.50
text-classification-on-trec-6TM-Glove
Error: 9.96

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
利用预训练词表示增强可解释条款的语义 | 论文 | HyperAI超神经