摘要

本文介绍了一种新颖的训练模型——基于自记忆的自我训练（Self-Training from Self-Memory, STSM），应用于数据到文本生成（Data-to-Text Generation, DTG）任务中。该模型允许在包含自记忆和/或新数据的子集上进行自我训练，其中自记忆是指直接从已训练模型推断出的输出。自记忆的质量通过两个模型——数据到文本（Data-to-Text, D2T）和文本到数据（Text-to-Data, T2D）进行验证，验证条件为：(1) D2T 模型输出中所有源值的出现；(2) T2D 模型输出能够将文本转换回源数据的能力。我们利用贪心算法生成较短的 D2T 输出，前提是这些输出包含所有源值。随后，我们使用 T2D 模型来确认这些输出能够捕捉输入关系，通过展示其将文本转换回数据的能力来实现这一点。实验结果表明，仅使用 30% 的数据集，我们的 D2T 模型就能达到与全量训练在相同设置下相当的性能。我们在两个数据集 E2E NLG 和 DART 上对模型进行了实验。STSM 为 D2T 模型提供了从其子集记忆中泛化的功能，同时减少了所需的训练数据量。最终，我们期望本文能为持续学习解决方案提供贡献，使其能够适应新的训练数据，并将其作为 DTG 任务中的自记忆形式加以整合。整理后的数据集已在以下网址公开：https://github.com/hoangthangta/STSM。