3 个月前

用于语言建模与命名实体识别的改进型可微架构搜索

用于语言建模与命名实体识别的改进型可微架构搜索

摘要

本文研究了适用于自然语言处理(NLP)任务的可微分神经架构搜索(Differentiable Neural Architecture Search, NAS)方法。具体而言,我们通过移除softmax局部约束(softmax-local constraint)对可微分架构搜索进行了改进。此外,我们将可微分NAS首次应用于命名实体识别(Named Entity Recognition, NER)任务,这是该方法在语言建模之外的NLP任务中的首次应用。在PTB语言建模和CoNLL-2003英文NER数据集上的实验结果表明,所提出的方法显著优于多个强基准模型,并在NER任务上取得了新的最先进性能(state-of-the-art)。

基准测试

基准方法指标
language-modelling-on-ptbI-DARTS
PPL: 56.0
named-entity-recognition-ner-on-conll-2003I-DARTS + Flair
F1: 93.47

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于语言建模与命名实体识别的改进型可微架构搜索 | 论文 | HyperAI超神经