Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models

本文是LLM系列文章，针对《Retrieve Only When It Needs: Adaptive Retrieval Augmentation for
Hallucination Mitigation in Large Language Models》的翻译。

摘要

幻觉对大型语言模型（LLM）的实际实现提出了重大挑战。参数知识在生成事实内容时的使用受到LLM有限知识的限制，可能导致内部幻觉。虽然整合外部信息有助于填补知识空白，但也会带来不相关信息的风险，从而增加产生外部幻觉的可能性。LLM中的参数知识与外部信息的仔细而平衡的整合对于缓解幻觉至关重要。在这项研究中，我们提出了Rowen，这是一种新的方法，通过针对幻觉输出量身定制的选择性检索增强过程来增强LLM。该过程由多语言语义感知检测模块控制，该模块评估针对相同查询的不同语言的扰动响应的一致性。在检测到指示幻觉的不一致时，Rowen激活外部信息的检索以校正模型输出。Rowen熟练地将LLM中的内在参数与外部知识来源相协调，通过确保内部推理和外部证据的平衡整合，有效地缓解了幻觉。通过全面的实证分析，我们证明Rowen在检测和缓解LLM输出中的幻觉内容方面超过了当前的技术水平。

1 引言

2 相关工作

3 方法