摘要

抽取式问答（Extractive Question Answering, ExQA）是自然语言处理领域的一项关键任务。当前主流的ExQA方法通常采用预训练的Transformer模型对输入序列（即问题和文本段落）进行编码，随后利用两个可学习的查询向量，分别计算答案起始位置和结束位置的概率分布。然而，这些查询向量缺乏对输入上下文的感知，可能成为制约模型性能的瓶颈。为解决这一问题，我们提出了一种对传统方法的泛化模型——DyREx。该方法通过在Transformer层中引入注意力机制，根据输入内容动态生成查询向量，从而更好地捕捉上下文信息。实验结果表明，与标准方法相比，DyREx在多个基准数据集上均能持续提升性能。相关代码及实验运行文件已公开，可访问 https://github.com/urchade/DyReX 获取。