【AI大模型应用开发】【LangChain系列】实战案例6：利用大模型进行文本总结的方法探索，文本Token超限怎么办？

已于 2024-03-28 10:20:18 修改
阅读量3.3k 收藏 34
点赞数 13
CC 4.0 BY-SA版权
分类专栏： 大模型 文章标签： 人工智能 langchain 学习 笔记 agi gpt AI写作
于 2024-03-26 07:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Attitude93/article/details/136900881
本文介绍了如何使用LangChain库中的Stuff和Map-Reduce方法对文本进行高效总结，包括代码示例和实际操作，展示了如何通过大模型如GPT-3处理长文档和优化总结过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 大家好，我是同学小张，日常分享AI知识和实战案例
  • 欢迎 点赞 + 关注 👏，持续学习，持续干货输出。
  • +v: jasper_8017 一起交流💬，一起进步💪。
  • 微信公众号也可搜【同学小张】 🙏

本站文章一览：

在这里插入图片描述

假设有一组文档（PDF、Notion页面、客户问题等），你想要总结内容。可以利用大模型来帮你。今天来系统看下利用大模型来对文本进行总结的方法，以LangChain的使用为例。

参考：https://python.langchain.com/docs/use_cases/summarization

文章目录

0. 方法概述

在利用大模型总结文本的过程中

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LangChain实践1-使用 LangChain 开发应用程序
u010479989的博客
02-05 539
print("第一个客户客户消息类型类型:", type(customer_messages[0]),"\n")并将它们输出为逗号分隔的 Python 列表")print("第一个客户客户消息类型类型: ", customer_messages[0],"\n")print("客户消息类型:",type(customer_messages),"\n")print("结果类型:", type(response.content))print("结果类型:", type(response.content))
从零开始：构建支持上下文窗口的AI原生应用实战指南
AI天才研究院
05-28 989
随着大语言模型（LLM）的普及，AI原生应用已从“单次交互”向“多轮智能对话”“长文档分析”“持续学习”等复杂场景演进。这类应用的核心瓶颈是上下文窗口（Context Window）——LLM能同时处理的最大token数（如GPT-4的8k/32k，Claude 3的1M，LLaMA 3的40k）。上下文窗口的技术本质与应用约束动态上下文管理的核心策略（滑动窗口、向量检索、记忆压缩）从0到1构建支持长上下文的AI应用实战（聊天机器人/文档助手）性能优化与生产环境部署经验。
大模型的 Token 使用详解：限制与注意事项
木南曌的博客
03-27 6834
Token 可以是单个字符、单词、或由多个词组成的短语。Token 作为模型理解和处理文本的基础，有助于模型捕捉语言的结构和语义信息。
LLM 应用实战：用 LangChain 构建智能文档问答系统
最新发布
hungyq的博客
06-11 680
通过 LangChain 构建的智能文档问答系统，实现了从 "关键词匹配" 到 "语义理解" 的跨越，使企业文档真正成为可交互的知识资产。根据 IDC 预测，到 2026 年，85% 的企业知识管理系统将集成大语言模型能力，这种智能问答模式将成为企业知识服务的标准配置。引入领域适配模型，提升专业文档理解能力增加用户反馈机制，构建闭环优化系统集成工作流引擎，实现问答结果的自动化处理结合企业图谱，构建更具深度的知识关联。
LangChain轻松入门和开发实践
2401_82469710的博客
06-21 719
LangChain是一个开发语言模型应用的框架。LangChain能够简化开发与语言模型工作流中的复杂部分，帮助开发人员能够更轻松地进行开发，并定制满足需求的应用。LangChain有两大优点，一是它能将外部数据，如文件、其他应用、API数据等，无缝地集成到语言模型中；二是它通过代理功能，让语言模型能够与环境进行交互，实现决策制定。通过这种方式，可以让语言模型帮助决定下一步的行动，特别是在路径不明确或未知的情况下。在本专栏中，我们将探讨 LangChain 的独特特性，包括其组件和针对特定用例的链。
大模型框架LangChain开发实战（一）
m0_49380401的博客
08-21 874
你可以认为LangChain是大模型开发时代的operating system，因为它驱动了所有模块和数据的相互交互。在这样的一个框架中，有这样一个东西称作agent，目前来看agent还是一个很开放的领域，其本身的作用是基于模型驱动的做事情的具体过程，来在适当的时候使用工具或者本地数据，或者第三方数据来完成模型设定的步骤，这样的一个agent具有动态调整的过程，可以把它看成一个loop，它既能与模型，数据，工具进行交互，又能处理异常，以及评估整个系统的行为。
大模型框架LangChain开发实战（二）
m0_49380401的博客
08-22 947
本项目是以对话的方式来获取notion上面的数据，这是一件有价值的事情，这是因为随着时间的推移，notion上面的数据会越来越多，那么这时直接去notion上查询或者定位信息是一个很费时费力的过程，如果我们使用一个简单的接口，以自然语言的方式通过LangChain以模型驱动为基础来与企业私有数据进行交互，这对提升团队协作效率等很有帮助。-refine（把文件切成多个片段时，分析第二个片段时会结合第一个片段的内容）-map reduce（数据切分，适用于大数据文件）一、关于数据的准备及项目背景。
大模型开发实战：使用 LangChain 构建本地知识库应用
2301_76168381的博客
03-20 1483
LangChain 是一个大语言模型（LLM）
【LangChain系列】实战案例6：利用大模型进行文本总结的方法探索，文本Token超限怎么办？
2401_86518761的博客
09-24 1801
在利用大模型总结文本的过程中，最主要的工作是如何将文档内容传递给大模型。Stuff方法：简单地将所有文档“填充”到单个提示中。这种方法的主要优点是简单，但缺点是当文档很长或数量很多时，可能会超出模型的上下文窗口限制，导致信息丢失或模型性能下降。Map-reduce方法：这种方法分为两步。首先，在“map”步骤中，单独对每个文档进行摘要。然后，在“reduce”步骤中，将这些摘要合并成一个最终摘要。这种方法的主要优点是它可以处理大量或长文档，因为它在合并之前先对它们进行了压缩。
LangChain开发LLM应用【入门指南】
xiangyiran的博客
05-23 1551
通过将自然语言处理管道分解为单独的组件，开发人员可以轻松混合和匹配这些构建块，以创建满足其特定需求的自定义工作流程，从而使得 LangChain 成为一个高度适应性的框架，可用于为广泛的用例和行业构建对话式人工智能应用程序。简化LLM的集成：LangChain 支持广泛的 LLM（OpenAI 的 ChatGPT、Google 的 BERT等），并抽象了与特定模型或提供商交互的细节，使您可以轻松地在不同的LLM之间切换，而无需大量修改应用程序代码。根据用户的输入，代理可以决定是否调用这些工具中的任何一个。
私有知识库 RAG 系统评估全指南：检索 × 生成 × 模型协同打分 × 问题诊断
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-05 1118
你已经部署了 RAG 系统（基于国产大模型 + 向量检索 + 本地知识库），但效果总感觉差点意思？ 本文将系统拆解：RAG 整体评估思路 × 检索质量分析 × 回答准确率评估 × 问题诊断方法，并附带可落地的打分模板、分析脚本与典型异常案例。
大模型为什么会有 tokens 限制？
2301_78285120的博客
02-07 4889
人是以字数来计算文本长度，大语言模型 （LLM）是以 token 数来计算长度的。LLM 使用 token 把一个句子分解成若干部分。token 可以是一个单词、一个单词中的一个部分、甚至是一个字符，具体取决于它使用的标记化方法 (tokenization method)。比如：句子 “ChatGPT is great!” 可能会被分割成 [“Chat”, “G”, “PT”, " is", " great", “!”] 这 6 个 tokens。上下文 token 长度为什么会有限制？
【AI大模型应用开发】【LangChain系列】实战案例1：用LangChain写Python代码并执行来生成答案
同学小张的博客
03-08 2720
本文通过一个案例来学习下如何让 LangChain 写代码并自动执行输出结果。
LangChain 实战教程：构建带记忆的聊天机器人
python123456_的博客
02-10 1338
复制后 格式化下 填入环境变量即可运行在传统聊天机器人中，对话往往是“无状态”的——每次对话都独立处理，无法记住上下文。本教程将使用LangChain框架，构建一个能够记住对话历史的智能聊天机器人。
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2680
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
LLM大模型技术实战：一文带你入门大模型开发框架Langchain
程序员鑫港的博客
01-22 785
LangChain是一个专门为LLM应用开发设计的框架，旨在简化LLM应用的开发难度。它将LLM的各个组件进行封装和链接，提供了一个统一的开发环境，让开发者可以更加便捷地进行LLM应用的开发。从某种程度上来说，LangChain类似于Java开发中的Spring或SpringBoot框架，为开发者提供了丰富的工具和库，帮助开发者快速构建出功能强大的LLM应用。模块化设计：LangChain框架采用了模块化设计，将LLM应用的各个组件拆分成独立的模块，方便开发者进行模块化的开发和维护。
张高兴的大模型开发实战：（二）使用 LangChain 构建本地知识库应用
张高兴的博客
03-18 876
LangChain 是一个大语言模型(LLM)编程框架，其目的是简化基于大语言模型的应用开发，统一不同大模型的调用方式，开发者无需关心底层 API 差异。Ollama 是一个开源的本地大语言模型运行框架，其目的是简化在本地设备上部署和运行大型语言模型的流程。它通过容器化管理和标准化接口，让用户能够快速、便捷地使用如 Qwen、Deepseek 等主流模型，无需复杂配置。
LangChain实战
2401_85325726的博客
07-25 1512
了解了LangChain的链式魅力，实战各种链， 并使用SequntialChain把链再链起来，完成更复杂效果。
【AI大模型应用开发】以LangChain为例：从短期记忆实战，到如何让AI应用保持长期记忆的探索
同学小张的博客
03-30 4761
本文我们来系统看下实现大模型应用记忆的方法，包括短期记忆和长期记忆。还是以LangChain为例来进行实战。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

同学小张

如果觉得有帮助，欢迎给我鼓励！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值