摘要

神经文本生成的主流范式是基于自回归语言模型的从左到右解码。然而，在复杂词汇约束条件下进行受控或约束生成时，往往需要具备前瞻性的规划能力，以预判未来可行的生成路径。受A搜索算法的启发，我们提出了NeuroLogic Aesque解码算法，该算法引入了对未来成本的启发式估计。我们设计了一套高效且适用于大规模语言模型的前瞻启发式策略，使该方法可作为现有主流技术（如束搜索和top-k采样）的即插即用替代方案。为支持约束生成，我们基于NeuroLogic解码（Lu等，2021）进行拓展，将其在逻辑约束建模方面的灵活性与A*esque对未来约束满足程度的估计能力相结合。在五项生成任务上，我们的方法显著优于现有竞争性基线，在表格到文本生成、约束性机器翻译以及关键词约束生成任务上达到了新的最先进水平。尤其在需要复杂约束满足或少样本/零样本设置的任务中，性能提升尤为显著。NeuroLogic A*esque充分展示了通过优化解码策略，能够有效提升大规模语言模型的能力，并拓展其新应用场景。