
摘要
阻碍胶囊网络在具有挑战性的自然语言处理(NLP)应用中发展的障碍包括对大规模输出空间的较差扩展性和路由过程的可靠性较低。在本文中,我们提出:1) 一种实例级别的路由性能评估指标——一致性评分;2) 一种自适应优化器以增强路由的可靠性;3) 胶囊压缩和部分路由技术以提高胶囊网络的扩展性。我们在两个自然语言处理任务上验证了我们的方法,即多标签文本分类和问答任务。实验结果表明,我们的方法在这两项任务上显著优于强大的竞争对手。此外,在资源有限、训练样本较少的情况下,我们获得了最佳的结果。
代码仓库
AIPHES/acl19-generalization-capsule
pytorch
GitHub 中提及
andyweizhao/capsule_text_classification
tf
GitHub 中提及
andyweizhao/capsule
tf
GitHub 中提及
andyweizhao/NLP-Capsule
pytorch
GitHub 中提及
kevindeangeli/capsuleNetwork
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| multi-label-text-classification-on-eur-lex | NLP-Cap | P@1: 80.2 P@3: 65.48 P@5: 52.83 nDCG@1: 80.2 nDCG@3: 71.11 nDCG@5: 68.8 |
| question-answering-on-trecqa | NLP-Capsule | MAP: 0.7773 MRR: 0.7416 |
| text-classification-on-rcv1 | NLP-Cap | P@1: 97.05 P@3: 81.27 P@5: 56.33 nDCG@1: 97.05 nDCG@3: 92.47 nDCG@5: 93.11 |