ANAH: Analytical Annotation of Hallucinations in Large Language Models

本文是LLM系列文章，针对《ANAH: Analytical Annotation of Hallucinations in Large Language Models》的翻译。

摘要

减少大型语言模型 （LLM） 的“幻觉”问题对于其广泛应用至关重要。对幻觉进行全面而精细的测量是治理这个问题的第一步，但在社区中尚未得到充分探索。因此，我们提出了 ANAH，这是一个双语数据集，可在生成问答中提供 LLM 中幻觉的分析注释。我们数据集中的每个答案句子都经过严格的注释，涉及参考片段的检索、幻觉类型的判断以及幻觉内容的校正。ANAH 由 ∼4.3k LLM 响应的 ∼12k 句子级注释组成，涵盖 700 多个主题，由人机回环管道构建。由于幻觉注释的精细粒度，我们可以定量地确认 LLM 的幻觉在答案中逐渐积累，并使用 ANAH 来训练和评估幻觉注释者。我们对研究生成式和判别性注释者进行了广泛的实验，结果表明，尽管目前的开源 LLM 在细粒度幻觉注释方面存在困难，但用 ANAH 训练的生成式注释器可以超越所有开源 LLM 和 GPT3.5，获得与 GPT4 竞争的性能，并在看不见的问题上表现出更好的泛化能力。

1 引言

2 数据集构造

3 幻觉注释器