摘要

近期在文本摘要领域的进展，特别是大型语言模型（LLMs）的出现，展现了显著的性能提升。然而，一个值得注意的挑战依然存在，即大量自动生成的摘要中出现了事实不一致的问题，例如幻觉现象。为应对这一问题，各种评估摘要一致性的方法相继涌现。然而，这些新引入的指标面临多个局限性，包括缺乏可解释性、主要关注短文档摘要（如新闻文章）以及计算上的不可行性，尤其是基于大型语言模型的指标。为了克服这些不足，我们提出了一种基于自然语言推理和主张提取的事实性评估方法（Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction, FENICE），这是一种更具可解释性和高效的事实导向度量指标。FENICE 利用了源文档中的信息与从摘要中提取的一组原子事实（称为主张）之间的自然语言推理对齐。我们的度量指标在事实性评估的事实标准基准 AGGREFACT 上达到了新的最先进水平。此外，我们通过进行长篇幅摘要的人工标注过程，将评估扩展到更具挑战性的场景。为了促进文本摘要事实性评估的研究，我们在 https://github.com/Babelscape/FENICE 上发布了该度量指标的代码及长篇幅摘要的事实性标注数据。