摘要

动机：医疗数据本身具有高度复杂性，病历记录中的术语通常在不同语境中出现。本文旨在研究多种生物医学语言模型（BioBERT、BioELECTRA、PubMedBERT）在“否定与推测语境”理解方面的能力。研究发现，这些模型无法有效区分“否定语境”与“非否定语境”。为评估模型对语境的理解能力，我们采用否定句嵌入与非否定句嵌入之间的余弦相似度得分作为衡量指标。为提升模型性能，本文提出一种通用的超调优（super-tuning）方法，通过利用合成数据集对模型嵌入进行优化，以增强其在“否定与推测语境”上的表示能力。结果：经过超调优后，模型的嵌入表示在理解和区分否定及推测语境方面显著提升。此外，我们将超调优后的模型在多个下游任务上进行微调，结果表明，该模型在BioScope摘要和Sherlock数据集上的否定识别、推测线索检测及作用范围判定任务中均取得了当前最优（SOTA）性能。同时，我们验证了该方法在其他任务（如自然语言推理）上的性能损失极小，表现出良好的泛化能力与最小的性能权衡。