摘要

结构化预测中的一个核心挑战在于如何有效建模输出结构内部的依赖关系。当输出为序列结构时，线性链条件随机场（linear-chain Conditional Random Fields, CRFs）是一类广泛应用的模型，能够学习输出中的局部依赖关系。然而，CRF所依赖的马尔可夫假设使其无法建模具有非局部依赖的数据分布，且标准CRF无法满足数据中存在的非局部约束（例如输出标签的全局arity约束）。为此，本文提出了一种CRF的广义形式，通过将可能的输出结构空间定义为一个正则语言 $\mathcal{L}$，从而能够强制施加广泛类型的约束，包括非局部约束。由此得到的正则约束条件随机场（Regular-constrained CRF, RegCCRF）在形式上与标准CRF保持一致，但对所有不属于 $\mathcal{L}$ 的标签序列赋予零概率。值得注意的是，RegCCRF能够在训练阶段就融入这些约束，而此前相关模型仅在解码阶段才施加约束。我们证明了约束训练的性能永远不会劣于约束解码，并通过实验证明，在实际应用中约束训练往往能带来显著更优的表现。此外，我们在下游任务中展示了其实际效益：将RegCCRF嵌入深度神经网络用于语义角色标注（semantic role labeling），在标准数据集上取得了超越当前最先进水平的性能。