4 个月前

稀疏数据上的并行-层次模型用于机器理解

稀疏数据上的并行-层次模型用于机器理解

摘要

理解非结构化文本是自然语言处理领域的一个主要目标。理解测试通过基于短文本段落提出问题来评估这种理解能力。在本研究中,我们探讨了机器在具有挑战性的《MCTest》基准上的理解能力。由于其规模有限,《MCTest》之前的研究主要集中在设计更好的特征上。我们采用神经网络方法处理该数据集,利用简单的神经网络以并行层次结构排列。并行层次结构使我们的模型能够从多种可训练的角度比较段落、问题和答案,而不仅仅是使用手动设计的固定特征集。这些角度涵盖了从词级到句子片段再到句子序列;网络仅在文本的词嵌入表示上进行操作。当采用一种旨在帮助应对有限训练数据的方法进行训练时,我们的并行层次模型为《MCTest》设定了新的最先进水平,略微超过了先前的特征工程方法,并显著优于之前的神经网络方法(绝对提高了超过15%)。

代码仓库

Maluuba/mctest-model
GitHub 中提及

基准测试

基准方法指标
question-answering-on-mctest-160syntax, frame, coreference, and word embedding features
Accuracy: 75.27%
question-answering-on-mctest-500Parallel-Hierarchical
Accuracy: 71%
question-answering-on-mctest-500syntax, frame, coreference, and word embedding features
Accuracy: 69.94%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
稀疏数据上的并行-层次模型用于机器理解 | 论文 | HyperAI超神经