【Arxiv 大模型最新进展】LongRAG：长文本问答的 “超级导航仪”，精准定位答案

【Arxiv 大模型最新进展】LongRAG：长文本问答的 “超级导航仪”，精准定位答案

🌟 嗨，你好，我是 青松 ！

🌈 自小刺头深草里，而今渐觉出蓬蒿。

NLP Github 项目推荐：

• 【AI 藏经阁】：https://gitee.com/fasterai/ai-e-book

  介绍：该仓库主要分享了数百本 AI 领域电子书

• 【AI 算法面经】：fasterai/nlp-interview-handbook#面经

  介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器

• 【大模型（LLMs）面试笔记】：https://gitee.com/fasterai/nlp-interview-handbook

  介绍：该仓库汇总了 NLP 算法工程师高频面题，适合大模型初学者和正在准备面试的小伙伴希望能帮助各位同学缩短面试准备时间，不错过金三银四涨薪窗口，迅速收获心仪的Offer 🎉🎉🎉

LongRAG: A Dual-Perspective Retrieval-Augmented Generation Paradigmfor Long-Context Question Answering

作者：Qingfei Zhao, Ruobing Wang , Yukuo Cen 等

单位： Institute of Information Engineering, Chinese Academy of Sciences等

下图给出此文的整体逻辑框架。首先，对文章进行一句话总结，然后简要介绍研究内容、研究动机、技术动机、解决方案以及优势与潜力，以便读者快速了解文章脉络。

本文研究的问题是提升大型语言模型在处理长文本问答任务时的表现。之前的方法包含self-RAG以及cRAG等，其中前者依赖自我反思标记来探索全局信息，但这种依赖可能误删含有重要细节的有效检索块；后者逐个评估块以识别事实细节，却忽略了块之间的关联，当关键细节分散在多个块中时，可能造成重要信息的遗漏。
本文的LongRAG的核心思想是通过增强LLM对长文本中全局信息的理解来增强其识别关键信息的能力
LongRAG框架具体流程如下：

实验方案

1. 混合检索器（Hybrid Retriever）: 采用双向编码器进行快速检索，并通过交叉编码器深入理解语义关系，确保检索效率。
2. LLM增强信息提取器（LLM-augmented Information Extractor）： 上述检索到的块被固定的窗口截断，难以携带额外的全局信息。此外，当检索到的数据块来自同一段落p时，它们的顺序可能与p中的原始语义顺序不一致，导致向下游llm提供无序的语义信息。将检索到的短文本片段映射回原始长文本段落，提取包含广泛背景和结构知识的全局信息。
   $f_m(p_{c_1},p_{c_2},\cdots ,p_{c_k})\to p_1,p_2,\cdots ,p_{k^{\prime }}$
   
   其中$p_{c_1}$表示检索到的块，之后将映射后的段落连接，并输入给大语言模型总结得到全局信息$I_g$。
   $I_g=\text{LLM}\left({\text{prompt}}_e\left(q,p_1\left|p_2\right|\cdots \mid p_{k^{\prime }}\right)\right)$
3. CoT引导过滤器（CoT-guided Filter）： 检索到的块通常包含大量的冗余；有些块甚至可以是完全冗余的。这种复杂性使得很难确定一个块是否包含解决多跳问题的关键信息，为了解决上述问题，作者采用两阶段策略，第一阶段基于检索语义空间生成一个具有全局视角的CoT：
   $CoT=\text{LLM}\left({\text{prompt}}_c\left(q,p_{c_1}\left|p_{c_2}\right|\cdots \mid p_{c_k}\right)\right)$
   第二阶段利用全局线索（CoT）指导模型精确筛选出包含关键事实细节的文本块$I_d$。

$$V(q,p_c,\text{CoT})=\{\begin{array}{ll}\text{True,}& \text{if <support}\\ \text{False,}& \text{otherwise}\end{array}$$

I d = { p c ∣ V ( q , p c , CoT ) = True } I_d = \{p_c \mid V(q, p_c, \text{CoT}) = \text{True}\} Id​={pc​∣V(q,pc​,CoT)=True}

4. LLM增强生成器（LLM-augmented Generator）： 结合全局信息和事实细节生成最终答案，提升回答的准确性。

实验结果

作者选取了三个多跳数据集HotpotQA， 2Wiki-MultiHopQA，MusiQue，并与三类方法进行了比较，Long-Context LLM Methods，Advanced RAG Methods，RAG-Base (Vanilla RAG)，分别提升了6.94%，6.16%，17.25% 的准确率

• 查看 Arxiv 原文请点击"阅读原文" [https://arxiv.org/abs/2406.15319]
• 本文编辑：刘亚川，毛玉仁