摘要

当今绝大多数人工智能系统依赖于在大规模多样化数据上运行的自注意力机制与Transformer架构，以实现显著的性能提升。本文提出通过引入外部注意力机制来增强Transformer架构，从而将外部知识与上下文信息融入模型之中。通过将外部信息整合到预测过程中，我们旨在降低对不断扩大的模型规模的依赖，并推动人工智能系统的普惠化发展。实验结果表明，所提出的外部注意力机制能够显著提升现有AI系统的性能，使从业者能够轻松地将基础AI模型适配至多种多样的下游应用场景。特别地，本文聚焦于常识推理任务，实证表明该外部注意力机制可有效增强现有Transformer模型，显著提升其推理能力。所提出的系统——面向常识推理的知识增强型外部注意力模型（Knowledgeable External Attention for commonsense Reasoning, KEAR），在开放的CommonsenseQA研究基准上取得了89.4%的准确率，接近人类水平（人类准确率为88.9%），首次实现与人类表现相当的性能。