
摘要
近期的研究尝试通过利用个人资料信息来个性化对话系统。然而,这类知识较为稀缺且难以获取,因此从对话中提取或生成个人资料信息成为了一项基本资产。为了克服这一限制,我们引入了个人资料生成任务(PGTask)。我们为此问题贡献了一个新的数据集,该数据集包含从对话语料库中提取并与相关话语对齐的个人资料句子。此外,我们使用最先进的方法为这个新数据集提供了个人资料生成的基准测试。我们的实验揭示了个人资料生成所面临的挑战,我们希望这能开辟一个新的研究方向。
代码仓库
ruinunca/PGTask
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| pgtask-on-pgdataset | gpt2-small | BLEU-1: 61.30 BLEU-2: 32.3 BLEU-3: 20.62 BLEU-4: 9.44 BertScore: 94.39 ROUGE-1: 50.07 ROUGE-2: 28.31 ROUGE-L: 50.00 |
| pgtask-on-pgdataset | gpt2-medium | BLEU-1: 59.31 BLEU-2: 25.94 BLEU-3: 15.3 BLEU-4: 9.17 BertScore: 94.76 ROUGE-1: 46.32 ROUGE-2: 24.14 ROUGE-L: 45.88 |