【零基础】RAG（Retrieval-Augmented Generation）详解-CSDN博客

本文链接：https://blog.csdn.net/WASEFADG/article/details/147204540

RAG（Retrieval-Augmented Generation）详解

RAG（检索增强生成） 是一种结合了信息检索（Retrieval）和文本生成（Generation）的技术，旨在通过引入外部知识库提升生成内容的准确性和可靠性。它特别适用于需要依赖外部知识的任务（如问答、事实核查等），有效减少生成模型的“幻觉”问题。

RAG 的核心流程

RAG 分为三个阶段：检索（Retrieve）→ 增强（Augment）→ 生成（Generate）。

1. 检索（Retrieval）

目标：从外部知识库中检索与输入问题相关的文档片段。
实现方法：
- 将用户查询（Query）编码为向量（例如使用预训练模型如BERT、Sentence-BERT）。
- 在向量数据库中搜索与查询向量最相似的文档片段（如使用FAISS、Annoy等工具）。
关键点：检索的质量直接影响后续生成结果。

2. 增强（Augmentation）

目标：将检索到的文档与原始输入结合，形成增强后的上下文。
实现方法：
- 将用户查询和检索到的文档片段拼接，作为生成模型的输入。
- 示例输入格式：问题: {query} 相关文档: {doc1} {doc2} ...

3. 生成（Generation）

目标：基于增强后的上下文生成最终答案。
实现方法：
- 使用生成模型（如BART、T5、GPT）处理增强后的输入，输出自然语言回答。
- 模型需要同时理解问题和检索到的知识。

RAG 的典型示例

场景：回答历史问题

用户提问：

“谁发明了电灯泡？”

RAG 处理过程：

检索阶段：

将问题编码为向量，从知识库中检索相关文档：

文档1：托马斯·爱迪生在1879年改进了电灯泡的设计，并获得了专利。
文档2：约瑟夫·斯旺早在1860年就展示了电灯泡原型，但未申请专利。

增强阶段：

拼接查询和检索结果：

问题：谁发明了电灯泡？
相关文档：托马斯·爱迪生在1879年改进了电灯泡的设计，并获得了专利。约瑟夫·斯旺早在1860年就展示了电灯泡原型。

生成阶段：

生成模型输出：

电灯泡的发明涉及多位贡献者。托马斯·爱迪生在1879年改进了设计并申请了专利，使其商业化。但约瑟夫·斯旺在1860年已展示早期原型。

RAG 的代码实现（简化版）

使用 Hugging Face 库实现一个简单RAG流程：

from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration
import torch

# 初始化模型和组件
model_name = "facebook/rag-sequence-nq"  # 基于Natural Questions的预训练RAG模型
tokenizer = RagTokenizer.from_pretrained(model_name)
retriever = RagRetriever.from_pretrained(model_name, index_name="exact")
model = RagSequenceForGeneration.from_pretrained(model_name, retriever=retriever)

# 用户输入
query = "谁发明了电灯泡？"
inputs = tokenizer(query, return_tensors="pt")

# 生成答案
outputs = model.generate(inputs["input_ids"])
answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(answer)  # 输出：托马斯·爱迪生在1879年改进了电灯泡设计，但约瑟夫·斯旺更早展示了原型。