AI agent开发与大模型工程师面试复习纲要与高频面试题答案（3）-- 检索增强生成（RAG）与多模态优化

🔍 三、检索增强生成（RAG）与多模态优化

📖 核心知识点：

1. RAG核心流程：
   • 文档加载与预处理：从多源加载数据，并进行清洗、分割（Chunking）。分割策略（按固定长度、语义、格式）至关重要。
   • 向量化与检索：选择Embedding模型（如BGE、E5），使用向量数据库（如Milvus、Pinecone）进行相似性检索或混合检索（Hybrid Search）。
   • 生成与后处理：将检索到的上下文通过Prompt模板传递给LLM生成答案，并进行幻觉检测、引用溯源等后处理。
2. RAG优化策略：
   • 检索优化：重排序（Reranker，如BGE-Reranker）、多路召回（向量、全文、图谱）、查询理解（意图分类、关键词扩展）。
   • 评估指标：检索阶段关注Recall@K、MRR；生成阶段关注答案相关性、准确性、忠实度。
3. 多模态RAG与优化：
   • 处理图像、表格等多模态数据时，可使用多模态Embedding模型（如CLIP）或将表格转换为文本。
   • 关注知识