摘要

大型语言模型（LLMs）有时会产生幻觉，尤其是在已知正确知识的情况下，这些模型仍可能生成不真实的响应。激活LLM中的真实性是充分发挥其知识潜力的关键。在本文中，我们提出了一种名为TruthX的方法，该方法通过识别和编辑LLM内部表示中控制真实性的特征，在推理时干预以激活LLM的真实性。TruthX利用自编码器将LLM的表示分别映射到语义空间和真实性空间，并通过对比学习在真实性空间内确定一个真实性的编辑方向。在推理过程中，通过对LLM内部表示进行真实性空间内的编辑，TruthX有效提升了LLM的真实度。实验结果表明，TruthX在TruthfulQA基准测试上平均提高了13个先进LLM的真实度20%。进一步分析表明，仅通过编辑LLM内部表示中的一个向量，TruthX就能控制LLM生成真实或幻觉性的响应。