摘要
在自然语言处理（NLP）领域，将预训练词嵌入（word embeddings）与深度学习模型相结合，已成为一种“事实标准”方法。尽管该方法通常能取得令人满意的效果，但现成的词嵌入在医学报告等专业领域文本上的表现往往较差。此外，由于缺乏足够规模的领域内数据，从零开始训练专用词表示通常既不可行也效果不佳。本文聚焦于临床领域，研究仅依赖通用领域资源的嵌入策略。我们发现，通过将现成的上下文相关嵌入（ELMo）与在少量由任务数据构建的领域内语料上训练得到的静态 word2vec 嵌入相结合，能够实现甚至在某些情况下超越在大规模医学领域语料上学习得到的词表示性能。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| clinical-concept-extraction-on-2010-i2b2va | ELMo (finetuned on i2b2) + word2vec (i2b2) | Exact Span F1: 86.23 |