RAG学习及相关技术

一、RAG是什么？

Retrieval Augmented Generation（增强检索生成）， 首先让我们忘记Retrieval Augmented， 先只谈一下Generation的部分，在RAG中，通常指的是Large Language Model（LLM），它生成文字以回复用户的问题，最有名的LLM是ChatGPT。而这些LLM 都是生成式AI的一种形式。

1、GPT能满足所有场景需求吗?

在我们使用chatGPT或者其他大模型的过程中 我相信很多朋友都会遇到类似的问题,比如:
a.有些回答它会凭空捏造
b.有些特定问题不符合基本逻辑
c.回答的依据,来源 根本不存在
d.对于近期的知识或者新闻完全不了解,导致回答的答案时过时的或者完全错误的

2、是什么造成了以上问题呢?

对于没有持续学习能力的LLM来说，模型在训练后，它的知识就冻结了，但是输入的问题的知识来源时序确实不断变化的，如果模型不能够适应这种变化，就会不断的出现问题，对于专业的人员能够很好的理解这种问题， 但是对于小白用户，可能就会带来很多误导，会觉得LLM非常不靠谱。

3、所以，在使用LLM的过程当中有两个关键的问题还需要去解决：

• a.回答的答案没有来源，如果我们对LLM的每个回答都要自己去验证正确性，那就完全没有必要使用LLM了，纯靠自己的检索能力了。
• b.训练数据过时， 大模型的知识都是来源于它的训练集， 对于还没有发生的或者它从来没有见过的数据它是完全无法回答的，但是很多情况下大模型会凭空捏造答案，问题又回到了a.

4、回到最初的问题， 什么是RAG呢？ 查询资料再使用大模型生成就是RAG吗？

增强检索生成(RAG)是一种使用后处理的架构解决方案，目的就是为了解决LLM遇到的问题。如果用户想LLM提出问题，LLM能够直接给出准确以及有依据的回答，让用