4 个月前

用于少样本文本分类的诱导网络

用于少样本文本分类的诱导网络

摘要

文本分类在数据不足或需要适应未见过的类别时往往表现不佳。在这些具有挑战性的场景中,最近的研究利用元学习来模拟少样本任务,其中新的查询样本会在样本层面与一个小的支持集进行比较。然而,这种样本层面的比较可能会因同一类别中的不同表达而受到严重影响。因此,我们应该能够学习支持集中每个类别的通用表示,然后将其与新的查询样本进行比较。本文提出了一种新颖的归纳网络(Induction Network),通过创新性地在元学习中应用动态路由算法(Dynamic Routing Algorithm)来学习此类通用的类别表示。通过这种方法,我们发现模型能够更好地进行归纳和泛化。我们在一个广泛研究的情感分类数据集(英语)和一个实际的对话意图分类数据集(中文)上评估了所提出的模型。实验结果表明,在这两个数据集上,所提出的模型显著优于现有的最先进方法,证明了类别层面泛化在少样本文本分类中的有效性。

代码仓库

laohur/RelationNet
pytorch
GitHub 中提及
mhw32/prototransformer-public
pytorch
GitHub 中提及
laohur/LearnToCompareText
pytorch
GitHub 中提及
hongshengxin/Induction_network
pytorch
GitHub 中提及

基准测试

基准方法指标
few-shot-text-classification-on-odic-10-wayInduction Networks
Accuracy: 81.64
few-shot-text-classification-on-odic-10-way-5Induction Networks
Accuracy: 78.27
few-shot-text-classification-on-odic-5-way-10Induction Networks
Accuracy: 88.49
few-shot-text-classification-on-odic-5-way-5Induction Networks
Accuracy: 87.16

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于少样本文本分类的诱导网络 | 论文 | HyperAI超神经