摘要

随着基于大型语言模型（LLM）的助手的质量和普及度不断提高，由这些模型生成的内容正在迅速增加。在许多情况下和任务中，这类文本已经难以与人类撰写的文本区分开来，而且生成质量还有进一步提升的趋势。与此同时，检测方法的发展相对缓慢，使得防止生成式人工智能技术的滥用变得更加困难。在这项研究中，我们探讨了生成文本检测的任务，并提出了GigaCheck。我们的研究探索了两种方法：(i) 区分人类撰写的文本与LLM生成的文本；(ii) 在人机协作文本中检测LLM生成的段落。对于第一种任务，我们的方法利用了一般用途的大型语言模型，借助其广泛的语言能力高效地进行微调，以完成下游的LLM生成文本检测任务，即使数据有限也能实现高性能。对于第二种任务，我们提出了一种结合计算机视觉和自然语言处理技术的新方法。具体而言，我们使用了一个经过微调的一般用途大型语言模型，并结合了一个类似于DETR的检测模型（该模型源自计算机视觉），以定位文本中的AI生成段落。我们在五个包含英文文本的分类数据集和三个专门设计用于人机协作文本分析的数据集上对GigaCheck进行了评估。结果表明，即使在分布外设置下，GigaCheck也优于先前的方法，在所有数据集上建立了强大的基线性能。