4 个月前

无监督成分句法分析的集成蒸馏方法

无监督成分句法分析的集成蒸馏方法

摘要

我们研究了无监督句法分析任务,该任务在不使用语言学注释数据的情况下,将句子中的单词和短语组织成层次结构。我们观察到现有的无监督解析器捕捉到了句法结构的不同方面,这些方面可以被利用来提高无监督解析的性能。为此,我们提出了一种“树平均”(tree averaging)的概念,并基于此进一步提出了一种新的无监督解析集成方法。为了提高推理效率,我们将集成知识提炼到一个学生模型中;这种先集成后提炼的过程是一种有效的方法,可以缓解常见的多教师提炼方法中存在的过度平滑问题。实验结果表明,我们的方法超越了所有先前的方法,在不同的运行、不同的集成组件以及领域迁移条件下,始终表现出其有效性和鲁棒性。

代码仓库

基准测试

基准方法指标
constituency-grammar-induction-on-ptbEnsemble (Selective MBR)
Mean F1 (WSJ): 66.2
constituency-grammar-induction-on-ptbEnsemble (Generative MBR)
Max F1 (WSJ): 71.9
Mean F1 (WSJ): 70.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
无监督成分句法分析的集成蒸馏方法 | 论文 | HyperAI超神经