多模态RAG的几种思路-langchain

Semi-structured RAG

链接：https://github.com/langchain-ai/langchain/blob/master/cookbook/Semi_Structured_RAG.ipynb
数据对象：表格和文本
流程：分别做摘要，做摘要嵌入，检索摘要，那对应的原文或表格送给大模型。

Semi-structured and Multi-modal RAG

数据对象：表格，文本，图片。表格和文本视作一个模态，下述把二者统称为文本。
流程一：多模态嵌入，对文本和图片分布做嵌入。使用query嵌入进行向量检索，使用得到的图片和文本送给VLM。
流程二：使用VLM对图片做文本摘要描述。文本也都做摘要。对三者做嵌入。做文本向量检索。得到的文本chunk送给大模型。
流程三：使用VLM对图片做文本摘要描述。根据检索到的图像摘要的文本，得到原始图片。送给VLM。