摘要

我们提出了一种新的快速组合编码器——多范围推理单元（Multi-Range Reasoning Units，简称MRU），用于机器理解（Machine Comprehension，简称MC）。所提出的MRU编码器具有多范围门控机制，通过执行一系列参数化的收缩与扩展层来学习门控向量，从而利用长短期依赖关系。我们的方法旨在实现以下目标：(1) 学习同时考虑长短期上下文的表示；(2) 建模文档内块之间的关系；(3) 实现快速高效的序列编码。实验结果表明，所提出的编码器无论是作为独立编码器还是作为辅助构建模块，都表现出令人鼓舞的结果。我们在三个具有挑战性的机器理解数据集上进行了广泛的实验，即RACE、SearchQA和NarrativeQA，在所有数据集上均取得了极具竞争力的性能。在RACE基准测试中，我们的模型在不使用任何递归或卷积层的情况下，比动态融合网络（Dynamic Fusion Networks，简称DFN）提高了1.5%-6%的性能。同样，在SearchQA基准测试中，我们的模型在不使用任何LSTM/GRU层的情况下，相对于AMANDA表现出有竞争力的性能；在NarrativeQA基准测试中，相对于双向注意力流模型（Bidirectional Attention Flow Model，简称BiDAF）也表现出有竞争力的性能。最后，将MRU编码器与标准的双向LSTM架构结合进一步提升了性能，达到了当前最先进的水平。