摘要

神经参数化在无监督语法归纳方面取得了显著进展。然而，使用传统的似然损失对所有可能的句法分析进行模型训练会加剧两个问题：1) 结构优化模糊性（structural optimization ambiguity），即在结构上存在多种最优解的情况下，任意选择其中一个，而忽略了特定的黄金句法分析偏好；2) 结构简化偏差（structural simplicity bias），这会导致模型在构建句法树时未能充分利用规则。这些问题使得无监督神经语法归纳（UNGI）不可避免地出现预测错误、高方差以及需要庞大的语法集才能实现准确预测。本文针对这些问题进行了全面分析，探讨了其根源。作为解决方案，我们引入了句子级解析聚焦（sentence-wise parse-focusing），通过利用在同一数据集上预训练的解析器的结构偏差来减少每句话的解析池大小，从而用于损失评估。在无监督解析基准测试中，我们的方法显著提高了性能，同时有效减少了方差和对过于简单化的解析的偏向。我们的研究促进了更加紧凑、准确和一致的显式语法的学习，有助于提高可解释性。