摘要

大型语言模型（LLMs），如GPT-4和Llama 2，在众多自然语言处理（NLP）任务中展现出卓越的性能。尽管其效果显著，但高昂的使用成本仍构成实际应用中的主要挑战。本文提出一种名为LlamBERT的混合方法，该方法利用大型语言模型对大规模未标注数据集中的小样本进行标注，并将标注结果用于微调如BERT和RoBERTa等Transformer编码器。该策略在两个具有代表性的数据集上进行了评估：IMDb影评数据集和UMLS元术语库（UMLS Meta-Thesaurus）。实验结果表明，LlamBERT方法在精度上略有下降，但显著提升了成本效益。