摘要

基于Transformer的问答模型在处理表格与文本的混合数据时，面临由表格元素与文本元素共同构成的“长”混合序列，由此引发长距离推理难题。为有效应对长距离推理问题，本文广泛采用解码器内融合（Fusion-in-Decoder, FiD）架构与指数移动平均（Exponential Moving Average, EMA）机制，提出一种名为MAFiD（Moving Average Equipped Fusion-in-Decoder）的新模型。以FiD作为骨干架构，MAFiD实现了多层次的推理能力：包括同质数据的独立编码、单行异质推理以及多行异质推理。通过引入门控交叉注意力层（gated cross attention layer），模型能够高效聚合上述三种不同推理路径所产生的表示。在HybridQA数据集上的实验结果表明，MAFiD在盲测集上分别将精确匹配（EM）和F1分数提升了1.1和1.7，达到了当前最优性能，显著推动了该任务的进展。