本文提出知识一致性对齐（KCA）方法，通过验证外部知识与LLM内部知识的一致性，减少语言模型的幻觉现象。KCA使用对齐的LLM生成评估，检测并处理对齐数据中的知识不一致，从而降低幻觉发生率。实验显示，KCA在多个基准上有效减少了不同规模和骨干LLM的幻觉。
本文是LLM系列文章，针对《Knowledge Verification to Nip Hallucination in the Bud》的翻译。
摘要
尽管大型语言模型（LLM）在人类对齐后的各种任务中表现出了非凡的性能，但它们仍然可能产生听起来合理但与事实知识相矛盾的反应，这种现象被称为幻觉。在本文中，我们通过验证和最小化对准数据中存在的外部知识与基础LLM中嵌入的内部知识之间的不一致性，证明了减轻幻觉的可行性。具体而言，我们提出了一种称为知识一致性对齐（KCA）的新方法，该方法使用一个良好对齐的LLM来自动制定基于外部知识的评估，以评估基础LLM的知识边界。为了解决对齐数据中的知识不一致问题，KCA实施了几种特定策略来处理这些数据实例。我们利用不同骨干和规模的基础LLM，在六个基准中证明了KCA在减少幻觉方面的卓越功效。这证实了通过减少知识不一致来减轻幻觉的有效性。我们的代码、模型权重和数据在https://github.com/fanqiwan/KCA上可用。
已下架不支持订阅
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
