摘要

将分布式表示与符号操作相结合，对于需要复杂推理的阅读理解任务（如计数、排序和算术运算）至关重要。然而，现有大多数方法难以扩展到更多领域或更复杂的推理场景。在本工作中，我们提出了神经符号阅读器（Neural Symbolic Reader, NeRd），其包含一个阅读器（如BERT）用于编码文本段落和问题，以及一个程序生成器（如LSTM）用于生成可执行的程序，该程序最终生成答案。相较于以往方法，NeRd在两个方面展现出更强的可扩展性：（1）领域无关性，即相同的神经架构可适用于不同领域；（2）组合性，即在需要时，可通过递归调用预定义的操作符生成复杂程序，从而形成可执行且可解释的表示，支持更复杂的推理过程。此外，为应对在弱监督条件下训练NeRd的挑战，我们采用了数据增强技术，并结合带阈值的硬期望最大化（hard Expectation-Maximization, EM）算法。在DROP这一要求离散推理的挑战性阅读理解数据集上，NeRd在EM和F1指标上分别较当前最优方法实现了1.37%和1.18%的绝对提升。在MathQA——一个需要多步推理的数学问题基准测试中，使用相同架构的NeRd在全部标注程序训练下，准确率相比基线方法提升了25.5%的绝对值。更为重要的是，即使仅提供20%的程序标注数据，NeRd依然显著优于现有基线方法。