摘要

Fusion-in-Decoder（FiD）是一种强大的检索增强型语言模型，在众多知识密集型自然语言处理任务中达到了当前最优水平。然而，我们分析发现，FiD所采用的架构是在标准T5模型基础上仅进行极小改动而成，这在检索增强型模型中表现极为不理想。具体而言，FiD将大部分浮点运算量（FLOPs）集中在编码器，而推理耗时的绝大部分则由解码器中的内存带宽瓶颈所导致。为此，我们对FiD架构提出了两项简单改进，有效缓解了内存带宽限制，使推理速度提升达7倍。这一改进使得我们能够在仅付出适度代价的情况下，显著增大解码器规模。我们将经过上述优化的FiD模型称为FiDO，并实证表明，FiDO在多种不同的推理预算下均显著优于现有的FiD模型。例如，FiDO-Large-XXL在推理速度上超越了FiD-Base，同时在性能上也优于FiD-Large。