4 个月前

面向可扩展和可靠的胶囊网络以应对具有挑战性的自然语言处理应用

面向可扩展和可靠的胶囊网络以应对具有挑战性的自然语言处理应用

摘要

阻碍胶囊网络在具有挑战性的自然语言处理(NLP)应用中发展的障碍包括对大规模输出空间的较差扩展性和路由过程的可靠性较低。在本文中,我们提出:1) 一种实例级别的路由性能评估指标——一致性评分;2) 一种自适应优化器以增强路由的可靠性;3) 胶囊压缩和部分路由技术以提高胶囊网络的扩展性。我们在两个自然语言处理任务上验证了我们的方法,即多标签文本分类和问答任务。实验结果表明,我们的方法在这两项任务上显著优于强大的竞争对手。此外,在资源有限、训练样本较少的情况下,我们获得了最佳的结果。

代码仓库

andyweizhao/capsule
tf
GitHub 中提及
andyweizhao/NLP-Capsule
pytorch
GitHub 中提及

基准测试

基准方法指标
multi-label-text-classification-on-eur-lexNLP-Cap
P@1: 80.2
P@3: 65.48
P@5: 52.83
nDCG@1: 80.2
nDCG@3: 71.11
nDCG@5: 68.8
question-answering-on-trecqaNLP-Capsule
MAP: 0.7773
MRR: 0.7416
text-classification-on-rcv1NLP-Cap
P@1: 97.05
P@3: 81.27
P@5: 56.33
nDCG@1: 97.05
nDCG@3: 92.47
nDCG@5: 93.11

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向可扩展和可靠的胶囊网络以应对具有挑战性的自然语言处理应用 | 论文 | HyperAI超神经