摘要

近年来，人们对于总结对话线程（如会议、在线讨论等）这一具有挑战性的任务产生了浓厚兴趣。此类摘要有助于快速了解长篇文本中的决策过程，从而提高我们的工作效率或沟通效率。为了推动对话线程摘要的研究，我们开发了一个抽象式电子邮件线程摘要（EmailSum）数据集，该数据集包含2549封电子邮件线程（每条线程包含3到10封邮件）的人工标注短摘要（<30词）和长摘要（<100词），涵盖了广泛的主题。我们进行了全面的实证研究，探索了不同的摘要生成技术（包括抽取式和抽象式方法、单文档模型和层次模型，以及迁移学习和半监督学习），并对短摘要和长摘要生成任务进行了人工评估。研究结果揭示了当前抽象式摘要生成模型在这一任务中面临的关键挑战，例如理解发件人的意图和识别发件人与收件人的角色。此外，我们发现常用的自动评估指标（如ROUGE、BERTScore）与人类对电子邮件线程摘要任务的判断相关性较弱。因此，我们强调社区应重视人工评估并开发更好的评估指标。我们的代码和摘要数据已发布在：https://github.com/ZhangShiyue/EmailSum