RAGAS：实现检索增强生成的自动化评估

1. 背景

检索增强生成（Retrieval Augmented Generation， RAG）作为当前解决大语言模型幻觉、知识更新、领域知识问题的有效方法，其热度不断攀升。RAG的本质是从语料库中提取相关文本，并与其原问题一并送入LLM进行处理。

虽然检索增强策略的优势显而易见，但实施过受到检索模型、所选语料库、大语言模型本身或提示词构建等众多因素的共同影响。因此，对检索增强系统的自动化评估显得尤为关键。

在实际操作中，RAG系统通常通过在某个参考语料库上测量困惑度（perplexity）来评估语言建模任务。然而，此类评估并不是能一直准确预测系统在实际应用中的表现。

因此，作者提出了RAGAS（Retrieval Augmented Generation Assessment），一个自动化评估检索增强生成系统的框架。

2. RAGAS评估策略

定义：

在标准的检索增强生成（RAG）场景中

系统面对一个问题q时

首先检索相关上下文c(q)

随后利用这些上下文生成答案as(q)

构建RAG系统过程中，往往无法获取标注数据集或标准答