- 博客(830)
- 资源 (33)
- 收藏
- 关注
RSS订阅原创 LlamaIndex的多轮对话引擎使用说明
本文介绍了LlamaIndex框架中查询引擎与聊天引擎的区别及应用场景。查询引擎适用于单轮对话但需手动拼接历史消息，存在安全性、准确性和token限制等问题。对话引擎支持多轮对话，通过记忆组件保存上下文。文章详细讲解了两种构建方式：快速构造（基于索引）和底层API组合构造（使用CondenseQuestionChatEngine），后者需要LLM、查询引擎和记忆体三大核心组件。最后展示了如何整合Memory组件实现带上下文追溯的对话功能，并提供了具体代码示例。对话引擎通过自动化历史记录管理，有效解决了多轮对
2025-07-03 18:14:25
730
原创 LlamaIndex的Memory使用说明
LlamaIndex的Memory系统采用短期和长期记忆机制优化对话管理。短期记忆通过token_limit（默认3万）和chat_history_token_ratio（默认0.7）控制最近对话的存储量，超过阈值时按token_flush_size批量迁移旧消息。长期记忆由多个MemoryBlock组成：StaticMemoryBlock存储静态信息，FactExtractionMemoryBlock提取结构化事实，VectorMemoryBlock实现语义检索。
2025-06-30 15:25:11
339
原创 uv包管理常用命令
uv init 初始化项目uv add 包名 添加包；多个包名，中间用空格uv tree 包的关系uv remove 删除所有包uv sync 重新解析。
2025-06-27 20:52:53
278
原创 LlamaIndex开发大模型Agent Workflow
AI Agent是LLM驱动的“智能体”，能自主决策、调用工具、分步完成任务，适合处理复杂推理和多轮交互；LlamaIndex使用Workflow来开发智能体Agent。Workflow是一种事件驱动的流程编排工具，用于将复杂的AI应用拆解为多个可控的步骤（step），每个步骤由事件（Event）触发并产生新事件。最基础的用法是：定义事件类，继承Workflow类并用@step装饰器声明步骤，然后run方法启动流程。这样可以实现简单的线性流程。应用程序由多个模块组成，每个模块被称为"步骤"(Step)
2025-06-27 12:02:31
295
原创 RAG工程落地：全链路观测和性能监控
RAG应用开发框架如LlamaIndex和LangChain虽然高效但抽象过度，导致调试困难。开源LLM工程平台Langfuse提供了全链路可观测性、提示管理、评估体系和数据集管理等功能，支持从开发到生产的完整LLM生命周期。它提供自托管和SaaS两种部署方式，支持Python/JS等语言，可快速集成主流框架。通过Docker Compose本地部署后，用户需创建组织和项目，获取API密钥即可开始追踪LLM调用、管理提示词并进行效果评估，帮助开发者优化RAG应用性能。
2025-06-26 17:17:15
576
原创 RAG工程落地：处理文档中表格数据
RAG系统中处理表格数据的难点包括语义信息不足、标题数据割裂等问题。解决方案建议将PDF/Word文档转为Markdown格式，使用MarkdownElementNodeParser切割器解析表格为结构化节点，并借助大模型生成表格摘要。通过VectorStoreIndex构建索引，结合CitationQueryEngine实现精准检索，最终输出包含表格数据的查询结果。该方法有效解决了表格数据的检索与理解问题，提高了RAG系统对结构化数据的处理能力。
2025-06-20 18:16:55
499
原创 RAG工程落地：回答内容和检索片段（chunk）对应关系追踪
RAG应用中追踪回答与检索片段的对应关系至关重要。该功能可实现事实性验证（防止模型幻觉）、增强可解释性、系统调试优化以及满足合规审计需求。文章介绍了使用LlamaIndex的CitationQueryEngine实现方法，通过标注来源片段（如[1]、[2]等）来展示回答依据。代码示例展示了如何初始化模型、处理文档、建立索引并执行带引文的查询，最终输出回答及其对应的检索片段来源。这种技术尤其适用于金融、医疗等需要高可信度的场景。
2025-06-18 17:18:31
864
原创 RAG质量评估
当我们完成了一个RAG系统的开发工作以后，还需要对RAG系统的性能进行评估，那如何来对RAG系统的性能进行评估呢？我们可以仔细分析一下RAG系统的产出成果，比如检索器组件它产出的是检索出来的相关文档即context, 而生成器组件它产出的是最终的答案即answer,除此之外还有我们最初的用户问题即question。因此RAG系统的评估应该是将question、context、answer结合在一起进行评估。
2025-06-09 19:19:21
987
原创 深度聚焦：RAG 工程落地与 LlamaIndex 开发核心要点
LlamaIndex 是一个为开发「知识增强」的大语言模型应用的框架（也就是 SDK）。知识增强，泛指任何在私有或特定领域数据基础上应用大语言模型的情况。例如：Question-Answering Chatbots (也就是 RAG)Document Understanding and Extraction （文档理解与信息抽取）Autonomous Agents that can perform research and take actions （智能体应用）
2025-06-02 18:36:31
667
原创 三大阶段有效提升RAG质量方法
企业大部分数据（尤其是非结构化数据）缺乏良好的数据治理，未经标记/评估的非结构化数据可能包含敏感、过时、矛盾或不正确的信息。提取、定义和理解文档中的不同内容元素，如标题、配色方案、图像和标签等存在挑战。PDF是为人类阅读而设计的，机器解析起来非常复杂。
2025-05-26 22:50:03
720
原创 windows11 安装 jupyter lab
看到location的值，那么 jupyterlab就安装在与之同级的Scripts下，将Scripts目录设置在Path即可。3、将jupyterlab的目录配置到path。2、安装jupyterlab。1、安装python环境。
2025-05-24 21:08:35
387
原创 深度解析：AI Agent 实战之 MCP 开发指南
MCP（Model Context Protocol，模型上下文协议）是 Anthropic 于 2024 年 11 月推出的开放标准，旨在为大语言模型（LLM）提供统一、标准化的方式与外部数据源和工具通信，解决传统 AI 集成架构碎片化、扩展困难的问题。
2025-05-21 09:41:52
789
原创 深度解析：AI Agent 应用开发中 MCP 入门要点
MCP（Model Context Protocol）是Anthropic于2024年推出的开放标准，旨在为大语言模型（LLM）提供统一、标准化的方式与外部数据源和工具通信，解决传统AI集成架构碎片化、扩展困难的问题。MCP通过统一连接标准，使LLM能便捷调用数据库、API、文件系统等工具，突破“只能对话”的局限。文章还详细介绍了MCP的通信机制，包括Stdio和SSE两种方式。
2025-05-17 23:01:43
844
原创 LangGraph构建多智能体
LangGraph 是一个专为构建复杂、多智能体（Multi-Agent）语言模型应用而设计的开源框架。它由 LangChain Inc. 开发，灵感来源于 Pregel 和 Apache Beam，接口设计借鉴了 NetworkX。LangGraph 允许开发者以图结构的方式定义和编排代理的行为流程，提供了高度的可控性和灵活性。
2025-05-13 10:20:24
962
原创 LlamaIndex实现RAG重排序
重排序就是在初始检索（Initial Retrieval）得到的一批候选文档（通常是 Top-k）中，再进行一次更精细的排序，以便把最相关的内容排在最前面。
2025-05-06 23:10:53
486
原创 LlamaIndex的索引结构--VectorStoreIndex
向量存储（Vector Stores）是检索增强生成（RAG）系统的关键组件，因此在使用 LlamaIndex 构建应用时，几乎都会直接或间接地使用它们。Node。
2025-05-06 15:08:17
398
原创 LlamaIndex统一管理存储组件的容器--StorageContext
是一个用于统一管理和协调各种存储组件的容器。提供了一个统一的接口，简化了数据的存储和检索过程。：用于存储文档或节点的嵌入向量。在 LlamaIndex 中，：用于存储原始文档或节点信息。：用于存储索引的元数据。：用于存储知识图谱数据。：用于存储属性图数据。通过集中管理这些组件，
2025-05-04 15:08:29
533
原创 RAGFlow入门和安装部署
RAGFlow 是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。
2025-04-28 20:23:00
982
原创 最新版Dify连接本地Ollama和 vLLM
你或许可以把 LangChain 这类的开发库（Library）想象为有着锤子、钉子的工具箱。与之相比，Dify 提供了更接近生产需要的完整方案，Dify 好比是一套脚手架，并且经过了精良的工程设计和软件测试。
2025-04-27 21:19:54
1355
原创 ubuntu 安装ollama后，如何让外网访问？
绑定的地址是127.0.0.1,只能在本地访问，无法在其他服务器访问。为了让外网能访问，需要将地址改为0.0.0.1,因为我们采取官方的这种一键安装形式，所以需要以下操作。需要在Environment里追加 "OLLAMA_HOST=0.0.0.0"。这种方式的ollama是systemd形式的服务，会随即启动。默认开启了 11434端口，并且。则我们在后面加空格，再加上键值对。Ctrl+X, Y保存退出。
2025-04-27 17:13:32
857
原创 RAG落地实战:文本切分
大模型（如 GPT）并不能直接检索整篇文档。我们必须先把文档切分成合适大小的段落（chunk），再对每个段落进行嵌入（embedding）。切得太细，会失去上下文；切得太粗，会导致嵌入不准确或超过上下文窗口。
2025-04-24 21:23:09
1071
原创 RAG进阶：开源的AI原生向量数据库Chroma
Chroma 是一款开源的向量数据库，专为高效存储和检索高维向量数据设计。其核心能力在于语义相似性搜索，支持文本、图像等嵌入向量的快速匹配，广泛应用于大模型上下文增强（RAG）、推荐系统、多模态检索等场景。与传统数据库不同，Chroma 基于向量距离（如余弦相似度、欧氏距离）衡量数据关联性，而非关键词匹配。灵活集成：支持自定义嵌入模型（如 OpenAI、HuggingFace），兼容 LangChain 等框架。多模式存储：内存模式用于开发调试，持久化模式支持生产环境数据落地。1. 什么是 Chroma？
2025-04-22 21:19:48
501
原创 RAG进阶：Embedding Models嵌入式模型原理和选择
嵌入模型（Embedding Model）是一种将离散数据（如文本、图像）映射到连续向量空间的技术。通过表示（如 768 维或 3072 维），模型可捕捉数据的语义信息，。例如，“忘记密码”和“账号锁定”会被编码为相近的向量，从而支持语义检索而非仅关键词匹配。
2025-04-22 17:10:27
965
原创 LlamaIndex 入门指南和快速构建RAG
LlamaIndex 是一个用于LLM 应用程序的数据框架，用于注入，结构化，并访问私有或特定领域数据，专门为 大语言模型（LLM） 提供 外部数据接入 的能力。
2025-04-20 21:26:53
1050
原创 主流开源大模型评估数据集
你如果是想做大模型评估、微调、或者横向对比，不可避免要接触各种公开评估数据集。下面我给你系统地整理一下目前主流的 开源大模型评估数据集，按功能分类讲，带上用途说明👇
2025-04-12 12:27:55
694
原创 大模型评估测试和OpenCompass模型评估框架
基于高质量、多层次的能力体系和工具链，OpenCompass 创新了多项能力评测方法，并构建了一套高质量的中英文双语评测基准，涵盖语言与理解、常识与逻辑推理、数学计算与应用、多编程语言代码能力、智能体、创作与对话等多个方面，能够实现对大模型真实能力的全面诊断。OpenCompass 是一个开源项目，旨在为机器学习和自然语言处理领域提供多功能、易于使用的工具和框架。其中包含的多个开源模型和开源数据集（BenchMarks），方便进行模型的效果评测。2、OpenCompass 的主要特点有哪些？
2025-04-11 23:05:56
875
1
原创 大模型分布式推理和量化部署
所以我们需要大于14GB的显存。注意14GB单纯是大模型启动所占的显存大小，还有推理过程的输入和输出，kv缓存，推理框架运行等，都需要消耗显存。70亿个参数×每个参数占用2个字节=14GB。
2025-04-09 15:55:59
948
原创 读懂AI大模型系列：模型蒸馏
模型蒸馏是一种“老师教学生”用一个性能强的大模型（老师模型）指导一个小模型（学生模型）学习，从而让小模型也变得聪明，但体积小、运行快、部署轻。把大模型的“知识”压缩到小模型中，同时尽量保留精度和效果。模型蒸馏就是让一个“聪明的老师”教会一个“资源有限的学生”如何变得又快又准，从而实现小模型高性能部署的目标。
2025-04-09 09:42:28
540
原创 轻量化大模型微调工具XTuner指令微调实战（下篇）
第一个参数CONFIG_NAME_OR_PATH：配置文件路径，也就是执行微调指令的配置文件。将其转换为 HuggingFace 模型，以便于后续使用。第二个参数PTH：XTuner微调生成文件，给绝对路径。第三个参数SAVE_PATH:模型转换保存的地方。模型训练后会自动保存成 PTH 模型（例如。
2025-04-05 21:09:44
491
原创 轻量化大模型微调工具XTuner指令微调实战（上篇）
XTuner 是由上海 AI 实验室的 InternLM 团队推出的一款轻量化大模型微调工具库，支持大语言模型和多模态图文模型的预训练及轻量级微调。
2025-04-03 20:54:23
933
原创 大模型微调中遇到的问题集合
生成requirements.txt，pip freeze会将当前环境下所有的安装包都进行生成,再进行安装的时候会全部安装很多没有的包.耗时耗力。大模型的各种框架，包大都属于测试版，稳定性不够好，所以安装环境是一个令人头疼的事情。我们可以将安装好的环境导出为txt文件，到其他地方还原。
2025-04-01 21:50:58
423
原创 LLaMA Factory微调后的大模型在vLLM框架中对齐对话模版
llamafactory微调后的大模型效果与在vLLM中的问答效果，可能会出现不一致的情况，
2025-03-29 23:12:15
1001
原创 将 Hugging Face（HF）模型转换为 GGUF（Guanaco General Universal Format）
将 Hugging Face（HF）模型转换为 GGUF（Guanaco General Universal Format）格式，通常需要借助llama.cpp工具。
2025-03-28 20:58:14
499
原创 QLoRA对大模型微调
lora秩 32--128之间，比如 64 推荐,lora缩放系数是 lora秩的2倍，比如 128。加速方式：flashattn2,或者auto。量化等级（启用量化QLoRA） ：8位。autodl学术加速。
2025-03-25 23:32:54
832
原创 Ollama、vLLM和LMDeploy这三款主流大模型部署框架
LMDeploy 开发了 Persistent Batch(即 Continuous Batch)，Blocked K/V Cache，动态拆分和融合，张量并行，高效的计算 kernel等重要特性。推理性能是 vLLM 的 1.8 倍LMDeploy 支持权重量化和 k/v 量化。4bit 模型推理效率是 FP16 下的 2.4 倍。量化模型的可靠性已通过 OpenCompass 评测得到充分验证。通过请求分发服务，LMDeploy 支持多模型在多机、多卡上的推理服务。
2025-03-24 11:49:56
918
原创 LLaMA Factory对大模型微调和导出量化操作
14、输出目录：会自动生成一个路径，要确保每次的目录都不相同，若已存在，则需要去服务器上删除，目录在llamafactory-save目录下。11、截断长度：长度越长越占显存，根据样本里的文本长度，大部分数据的最大长度值即可，比如，有90%的样本数据的长度是200，这里填写200.12、批处理大小：超参数，需要根据你服务器的配置，尝试运行几次，找到资源利用率最高的数值。4、对话模板：不同的模型对应的对话模板是不一样的。3、检查点路径：训练过程中保存的权重，可从其中的一个权重重新训练。
2025-03-21 23:01:06
1289
区块链|超级账本HyperLedger 入门基础讲解ppt
2017-09-21
使用Hyperledger Composer开发区块链应用
2017-11-23
图形化硬盘分区软件 硬盘分区工具
2009-11-14
PowerDesigner的数据库设计与实现 PowerDesigner数据库建模技术
2010-03-11
ftp上传工具--LeapFTP
2011-12-29
TortoiseGit 汉化包 git工具最新的git傻瓜式操作界面工具
2020-02-20
免费的制作gif_简单实用的GIF动图制作工具
2020-01-04
jQuery 的VS2008插件
2010-01-20
jQuery 1.4.1 中文文档 CHM 版
2010-02-02
winform换肤源码
2010-04-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人