HyperAIHyperAI

Command Palette

Search for a command to run...

TruthX:通过在真实空间中编辑大型语言模型来减轻幻觉现象

Shaolei Zhang Tian Yu Yang Feng

摘要

大型语言模型(LLMs)有时会产生幻觉,尤其是在已知正确知识的情况下,这些模型仍可能生成不真实的响应。激活LLM中的真实性是充分发挥其知识潜力的关键。在本文中,我们提出了一种名为TruthX的方法,该方法通过识别和编辑LLM内部表示中控制真实性的特征,在推理时干预以激活LLM的真实性。TruthX利用自编码器将LLM的表示分别映射到语义空间和真实性空间,并通过对比学习在真实性空间内确定一个真实性的编辑方向。在推理过程中,通过对LLM内部表示进行真实性空间内的编辑,TruthX有效提升了LLM的真实度。实验结果表明,TruthX在TruthfulQA基准测试上平均提高了13个先进LLM的真实度20%。进一步分析表明,仅通过编辑LLM内部表示中的一个向量,TruthX就能控制LLM生成真实或幻觉性的响应。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
TruthX:通过在真实空间中编辑大型语言模型来减轻幻觉现象 | 论文 | HyperAI超神经