- 博客(154)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 第十二章：多模态模型微调实战：驾驭Qwen2.5-Omni，定制你的全能AI助手
我们将完整地走过从项目规划、模型选型、数据构建，到环境配置、代码执行、过程调试，再到最终评估与未来扩展的全流程。本章的目标，是让您不仅“看懂”微调，更能“动手做”，获得将通用MLLM适配到特定领域需求的宝贵实战经验，亲手“雕刻”出属于你的第一个全能AI助手。
2025-06-27 09:00:00
859
原创 第十一章：多模态模型微调的原理与范式：从“通才”到“专家”的适配艺术
摘要： 本章探讨多模态模型从“通才”到“专家”的微调原理与范式。预训练模型虽具备通用知识，但面对特定任务时存在任务形式不匹配、领域偏差等问题，需要通过微调进行适配。全量微调虽直接但成本高且易导致灾难性遗忘，而参数高效微调（PEFT）通过“冻结主干，只动旁支”解决了这些问题。多模态指令微调（M-IT）统一了任务形式，通过指令数据引导模型行为。核心技术LoRA利用低秩矩阵近似参数变化，显著降低计算与存储成本，成为主流方法。LoRA通过超参数（如秩、缩放因子）平衡适配能力与效率，为模型专业化提供高效路径。
2025-06-26 09:15:31
797
原创 第十章：多模态模型的预训练：为AI注入“通用世界知识”
多模态模型预训练：AI的“通识教育” 本文探讨了多模态模型预训练的三大核心任务范式及其作用： 对比式任务(ITC)：通过区分正负样本对，让模型学习图文间的全局语义对齐，形成"明辨是非"的能力。 匹配式任务(ITM)：通过深度融合判断图文匹配性，培养细粒度分辨能力，实现"火眼金睛找不同"。 生成/重构式任务(MLM/MIM)：通过掩码预测训练，使模型掌握跨模态的上下文理解和生成能力，完成"视觉-语言完形填空"。 现代模型如BLIP系列通过巧妙组合这些
2025-06-25 09:00:00
777
原创 第九章：大型多模态模型 (MLLMs) 的崛起：当大语言模型“睁开双眼”，AI开始理解世界
如何将大型语言模型（LLM）那强大的语言理解、生成、推理乃至世界知识能力，有效地迁移和扩展到多模态领域，从而创造出一个能够“看懂世界并与之对话”的通用AI？
2025-06-24 09:00:00
608
原创 第八章：经典与专用多模态模型架构：从“各司其职”到“协同作战”
在前三章中，我们已经系统地学习了多模态学习的三大理论基石：如何为不同模态的信息构建高质量的），如何将这些表示进行有效的），以及如何建立它们之间精确的我们现在拥有了一个相当完备的“理论工具箱”。本章，我们将正式从“理论”迈向“实践”，进入“”的篇章。我们将深入剖析，在大型多模态模型（MLLM）一统江湖之前，研究者们是如何将这些理论巧妙地组合起来，为解决特定的多模态任务而设计出各种的。本章将以这三大经典任务为线索，通过“图解原理”的方式，剖析这些任务背后的主流架构范式，并探讨它们的设计哲学与权衡。
2025-06-23 09:00:00
648
原创 第七章：多模态对齐：模态间的“握手
本文探讨了多模态学习中的基础性问题——对齐(Alignment)，分析了其与融合(Fusion)的区别与联系。文章指出，对齐是建立跨模态元素间对应关系的关键，而融合则是基于对齐信息的组合过程。文章深入剖析了两大技术范式：隐式对齐通过全局目标（如对比学习）自发学习语义对应，适用于弱监督数据；显式对齐则通过精细标注直接建立模态元素间的精确连接，以视觉定位和开放词汇检测为代表。文章还探讨了评估对齐质量的方法，为构建更可靠的多模态系统奠定基础。
2025-06-13 10:00:00
1043
原创 第六章：多模态融合策略：1+1 ＞ 2的艺术
多模态融合：从经典策略到注意力驱动的深度交互 摘要：多模态融合旨在整合不同模态信息以实现协同智能效应。本章系统剖析了融合技术的演进路径：从早期特征拼接、晚期决策融合等传统方法，到基于注意力机制的深度交互范式。关键挑战在于解决模态间的异构性、信息不对称和时空异步性等问题。跨模态注意力机制通过动态加权实现了内容感知的特征融合，而协同注意力则进一步扩展为双向交互。这些技术突破使模型能够自适应地捕捉模态间的互补、冗余与关联关系，为构建更强大的多模态智能系统奠定了基础。
2025-06-13 09:00:00
1606
原创 第五章：多模态表示学习：跨越模态鸿沟——构建“通用语义”的艺术
如何将来自不同模态（如视觉的像素、文本的符号、音频的波形），这些本质上异构（heterogeneous）的信息，映射到一个统一的、机器能够理解和关联的“通用语义空间”中？我们将剖析并对比两大主流技术范式——对齐表示（以对比学习为核心）和联合表示（以Transformer融合为核心）——的核心原理、代表性模型与设计哲学。同时，本章也会探讨生成式方法在表示学习中的应用，并最终建立起评估多模态表示质量的科学框架，为后续理解更复杂的MLLM等模型奠定坚实的理论基础。
2025-06-10 10:00:00
1981
原创 第四章：音频与其他模态信息处理基础 —— 让AI“听懂”世界的声音
本章，我们将共同深入“听觉”的世界，系统理解音频这一特殊时序模态的本质特性与处理挑战。我们将从根本问题出发，探讨如何将连续的声波信号转化为机器可处理的数字特征（如梅尔频谱图），并重点剖析深度学习模型如何捕捉音频中的复杂模式。我们将聚焦于**自动语音识别（ASR）**和**文本到语音合成（TTS）**这两大核心任务，揭示其背后如CTC Loss、注意力机制、WaveNet等关键技术的原理
2025-06-10 09:00:00
2746
原创 第三章：视觉信息处理与表示的基础 —— “看懂”世界的基石
视觉信息，以其丰富性、直观性和高维度特性，对机器而言既是宝藏也是挑战。本章的核心使命，便是深入理解计算机视觉领域的核心难题：如何从原始、高维的像素洪流中，提取出对机器有意义、可用于决策和理解的结构化信息。
2025-06-09 10:00:00
2091
原创 第二章：文本处理与表示的基础 —— 解码语言的奥秘
本文探讨了文本表示技术从早期简单方法到现代语义嵌入的演变历程。首先介绍了文本预处理步骤（分词、去停用词等），然后分析了早期文本表示方法（如One-Hot编码、词袋模型和TF-IDF）的局限性：高维稀疏、无法捕捉语义关系。重点阐述了词嵌入技术（Word2Vec和GloVe）如何突破这些限制，通过分布式假设学习稠密低维向量，使语义相似的词在向量空间相近。Word2Vec采用预测任务（CBOW和Skip-gram）学习词向量，而GloVe利用全局共现统计信息。这些技术进步为后续语言理解奠定了基础。
2025-06-09 09:00:00
713
原创 第一章：多模态AI导论 —— 感知、理解与交互的智能新纪元
摘要 多模态AI正迎来发展的黄金时代，它赋予机器同时理解文本、图像、音频等多种信息的能力，使AI认知更接近人类水平。多模态AI面临表示、对齐、推理、生成和迁移五大核心挑战，需解决模态间的异质性与协同问题。其发展历程经历了从早期尝试、深度学习独立突破到Transformer革命，如今以GPT-4V等大型多模态模型为代表进入爆发期。多模态AI将深刻影响医疗、自动驾驶、教育等行业，推动人机交互变革，并可能成为实现通用人工智能的关键路径。尽管面临数据稀缺、模型融合、算力需求等挑战，多模态AI仍展现出广阔的应用前景和
2025-06-05 10:00:00
822
原创 第十二章：LLMOps收官：回顾、前瞻与大语言模型生产化的持续之路
本文回顾了LLMOps（大型语言模型运维）的关键成功要素与常见挑战，并展望了未来发展方向。成功要素包括：高质量数据治理、Prompt工程的核心地位、多维评估体系、PEFT/RLHF技术应用、推理优化策略及负责任AI原则。常见误区则涉及低估评估复杂度、忽视Prompt持续优化、成本失控等问题。未来趋势聚焦于平台工程化、AIOps自动化优化、联邦学习隐私保护以及绿色可持续AI发展。文章强调，LLMOps作为新兴工程学科，需在技术创新与伦理实践中取得平衡，才能推动LLM从实验室走向真实场景的规模化应用。（150字
2025-06-05 09:00:00
577
原创 引言：感知世界的AI新范式——与多模态智能一同迈向未来
摘要： 多模态AI（Multimodal AI）正推动人工智能从单一感知迈向综合理解，赋予机器同时处理文本、图像、音频、视频等多模态信息的能力。这一技术突破不仅要求模型深度融合不同模态的语义关联，还需解决“表示鸿沟”等核心挑战。当前，以CLIP、GPT-4V等为代表的大型多模态模型（MLLMs）已展现跨模态推理与生成的潜力。本专栏将从技术基础（如Transformer架构）、关键算法（如对比学习）、前沿模型设计到实际应用（如视觉问答、AI Agent）系统剖析多模态AI，并探讨其伦理挑战与AGI前景。通过这
2025-06-04 09:00:00
678
原创 第十一章：LLMOps的“军火库”：工具链生态与智慧平台选择
探索当前MLOps和LLMOps的工具链生态。我们会分析是选择构建自定义平台还是采用托管服务的战略考量；深入了解Kubeflow和Flyte等端到端开源平台在LLM场景下的应用；详细对比AWS SageMaker, GCP Vertex AI, Azure ML等主流云厂商的LLMOps能力；并重点梳理LLMOps新兴工具与细分赛道，包括Prompt工程、向量数据库、LLM评估、可观测性等专业化解决方案。最后，我们将提供一个决策框架，帮助你根据自身需求，智慧地选择合适的工具或平台组合。
2025-06-03 10:00:00
710
原创 第十章：LLMOps之魂：构建负责任、高效协作的治理、团队与文化
LLMOps的"软实力"：治理、协作与文化的重要性 在LLM（大语言模型）应用的生产化过程中，技术固然重要，但治理、协作与文化等"软实力"同样关键。这些因素决定了LLM应用能否持续创造价值并赢得社会信任。 核心挑战： 治理框架：需要解决LLM的黑箱特性、潜在偏见、滥用风险等特殊问题 团队协作：打破数据科学家、工程师、产品经理等不同职能间的壁垒 组织文化：培育创新精神与责任意识并重的文化氛围 关键要素： 负责任AI原则的落地实施 数据、Prompt和模型的全生命周期管理
2025-06-03 09:00:00
495
原创 第九章：LLMOps自动化流水线：释放CI/CD/CT的真正力量
走到这里，我们已经一起探索了LLM应用的方方面面，从最初的基础设施搭建，到数据的精心准备，再到模型的训练、验证、部署，以及上线后的持续监控。你可能已经感受到了，LLM的整个生命周期充满了各种复杂且相互关联的环节。如果每一个环节都依赖人工操作，那简直是一场噩梦，不仅效率低下，更容易出错，最终会严重拖慢我们交付价值的速度。
2025-06-02 10:00:00
1433
原创 第八章：LLM监控、日志与告警：大语言模型生产化后的“健康守护神”
LLM应用上线仅是起点，持续监控与优化才是关键挑战。文章从五个维度构建LLM监控体系：系统性能（延迟、吞吐量、错误率）、输入特征（Prompt分析、漂移检测）、输出质量（事实性、幻觉率、安全性）、用户反馈（满意度、行为分析）及成本控制（Token消耗、API费用）。强调需结合自动化指标与人工审计，通过主动监控发现潜在问题，优化模型性能与用户体验，同时控制运营成本。有效的监控不仅能快速响应故障，更能为模型迭代提供数据支持，确保LLM应用持续创造价值。
2025-06-02 09:00:00
1188
原创 第七章：LLM部署策略与服务化：释放大语言模型的应用价值
本文探讨了大型语言模型（LLM）从开发到部署的关键环节，重点分析了模型服务化面临的独特挑战（如计算资源需求、延迟敏感等）及应对策略。文章系统性地介绍了四种部署模式的选择（在线/批处理/流式/边缘部署），并针对各类应用场景提供了适配建议。在API设计方面，详细阐述了如何构建高效的LLM服务接口，包括RESTful适配、复杂输入输出处理、数据校验，以及异步流式响应等关键技术。通过伪代码示例展示了FastAPI的实践方案，为将LLM能力转化为实际业务价值提供了可落地的技术路径。全文聚焦于打造稳定、高效、可扩展的L
2025-06-01 10:00:00
1254
原创 第六章：LLMOps 核心实践：Prompt、模型、微调、推理与成本的精益管理
本文摘要： 《MLOps/LLMOps：模型生产化之路》第六章聚焦LLM应用从技术潜力到生产落地的核心实践。首先提出"PromptOps"概念，将Prompt工程系统化为可度量、可管理的流程，强调版本控制（Git+标准化格式）、测试框架（如Promptfoo）和安全评估。其次探讨大型模型的治理策略、参数高效微调（PEFT）和强化学习（RLHF）的运维挑战。最后覆盖推理优化（降低延迟/提升吞吐）和成本控制方法，并强调端到端可观测性对复杂LLM系统的重要性。本章提供了一套应对大模型生产化独特
2025-06-01 09:00:00
1120
原创 第五章：LLM 的测试与验证：确保大语言模型的质量、可靠性与对齐
虽然 LLM 的测试有其前所未有的复杂性，但经典的机器学习测试思想依然为我们提供了宝贵的框架。我们将探讨这个框架如何应用于 LLM，并深入剖析 LLM 测试验证的独特挑战与核心实践，包括 Prompt 鲁棒性、幻觉检测、LLM-as-a-Judge、红队测试以及初步的可解释性探讨。LLM强大的能力背后，是其巨大的参数量和复杂的内部结构，这使得它们在很大程度上仍然是“黑箱”。除了衡量LLM在整体数据集上的性能指标，我们还需要深入探究其在特定情境下的行为表现，这对于构建可信赖的LLM至关重要。
2025-05-30 10:00:00
927
原创 第四章：模型训练与实验跟踪：从探索到可靠产出
本章重点探讨了机器学习模型训练的关键环节，旨在构建科学高效的训练流程。首先介绍了自动化训练流水线的设计原则，强调参数化配置、模块化代码、日志记录和错误处理等要点，确保训练的可复现性。其次深入讲解了实验跟踪管理的重要性，包括记录代码版本、数据版本、超参数和评估指标等核心信息，以解决模型迭代中的溯源难题。此外还涉及自动化超参数优化、LLMOps的特殊考量以及训练成本分析等内容。最后通过实践环节帮助读者将理论知识转化为可靠的工程实现，实现从探索到产出的完整闭环。
2025-05-30 09:00:00
1918
原创 第三章：数据工程与LLMOps数据实践：高质量模型的基石
本文深入探讨了AI/MLOps中的数据工程最佳实践。重点介绍了自动化数据管道的构建（包括数据获取、清洗、转换、标注流程），推荐了Airflow等主流工具；强调了数据验证的重要性，提出使用Great Expectations等工具进行质量监控；讲解了特征存储的核心价值与架构（离线/在线存储）；并特别指出LLMOps时代需关注指令微调数据集管理和RAG知识库构建。全文贯穿数据治理与成本考量，为构建可靠的数据驱动系统提供全面指导。
2025-05-27 09:30:31
940
原创 第二章：基础架构与环境管理：可复现性的基石
本文聚焦MLOps/LLMOps的基础架构与环境管理，强调可复现性在机器学习项目中的核心价值。从全方位版本控制入手，详细介绍了代码(Git策略)、数据(DVC/Git LFS)、模型(MLflow)及Prompt的结构化管理方法；在环境一致性方面，探讨了Conda/Poetry等依赖管理工具和Docker容器化方案。通过建立完整的版本追踪体系与标准化的环境配置，确保机器学习项目从开发到生产全流程的可复现性，为后续模型迭代优化奠定基础。
2025-05-27 09:00:00
855
原创 第一章：MLOps/LLMOps 导论：原则、生命周期与挑战
《MLOps/LLMOps：模型生产化之路》第一章介绍了机器学习模型从开发到部署的核心概念与实践框架。文章首先追溯了从DevOps到MLOps再到LLMOps的演进过程，指出ML项目的独特性（如数据依赖性、模型衰退等）催生了专门化的MLOps方法论。随后详细解析了ML/LLM应用的生命周期，涵盖数据工程、模型训练、测试验证、部署监控等关键环节，并强调了LLMOps在Prompt工程、模型微调等方面的特殊需求。文章还阐述了MLOps/LLMOps的九大核心原则，包括自动化、可复现性、持续测试等。最后特别讨论了
2025-05-26 13:28:30
855
原创 弥合鸿沟，释放 AI 生产力：MLOps/LLMOps 模型生产化之路启程
《AI工程化之路：跨越ML/LLM项目的“死亡之谷”》摘要 人工智能项目在从概念验证（PoC）到生产部署过程中面临"死亡之谷"挑战，包括实验不可复现、手动部署低效、数据模型黑箱等问题。MLOps和LLMOps作为解决方案应运而生，通过标准化流程、自动化工具和系统方法论，实现AI模型的高效部署、质量保证和风险管理。本专栏将系统讲解从数据工程到模型部署的全流程实践，帮助读者掌握AI生产化关键技术，突破规模化应用瓶颈，推动团队工程文化建设。MLOps/LLMOps不仅是技术革新，更是组织文化与
2025-05-26 11:01:17
916
原创 第十七章：Llama Factory 深度剖析：易用性背后的微调框架设计
Llama Factory 是一个开源工具，旨在简化大语言模型（LLM）的微调过程，支持多种参数高效微调方法（PEFT），如 LoRA 和 QLoRA。其核心价值在于降低技术门槛和资源消耗，通过直观的 Web UI 和统一配置，使非专业开发者也能快速上手。Llama Factory 的设计哲学强调封装复杂性，提供模块化架构，涵盖配置管理、数据处理、模型加载、训练循环和结果保存等关键组件。它通过统一接口支持多种 PEFT 方法，集成分布式训练和量化技术，简化了微调流程。
2025-05-13 17:00:32
1324
原创 第十五章：强强联合 - Dify Flow 集成 RAGFlow 高质量检索
本章介绍了如何将Dify和RAGFlow两个工具结合，构建一个既能通过Dify的Flow功能进行管理编排，又能利用RAGFlow提供的高质量上下文的RAG应用。Dify以其可视化和易用性著称，适合快速构建和部署AI应用，但在处理复杂文档时可能面临挑战。RAGFlow则擅长从复杂文档中提取高质量上下文，弥补了Dify的不足。本章的核心目标是通过Dify的Flow功能，将RAGFlow作为一个外部的高质量知识检索服务集成进来，创建一个既易于管理又能处理复杂文档的RAG应用。
2025-05-13 14:53:35
800
原创 第十四章：RAGFlow - 深度文档理解与高质量 RAG 引擎
RAGFlow 是一个专注于解决 RAG（Retrieval-Augmented Generation）应用中复杂文档处理难题的开源引擎。它通过深度文档理解技术，优化了对扫描版、图文混排、表格等复杂文档的解析与分块，提升检索质量。与传统的“朴素 RAG”不同，RAGFlow 采用智能分块策略，避免了固定长度分块导致的上下文割裂和关键信息丢失，并支持表格提取、OCR 集成等功能。其核心技术包括布局分析、表格结构化表示、多种召回策略（如向量召回、全文检索）和数据可视化。
2025-05-12 09:20:39
1613
原创 第十三章：Dify - 可视化 LLM 应用开发平台实战
Dify 是一个开源的大型语言模型（LLM）应用平台，旨在降低 LLM 应用开发的门槛，加速开发生命周期。它通过可视化编排、开箱即用的核心功能、简化的部署与管理以及模型与生态集成，使开发者、产品经理和运营人员都能快速构建、部署和管理 AI 应用。Dify 支持创建对话型应用和工作流应用，提供可视化 Prompt Studio、知识库管理、Agent 与工具、工作流编排等功能。通过动手实验，用户可以快速构建 RAG 聊天机器人和带条件判断的工具调用工作流，体验平台化工具带来的便捷与效率。
2025-05-12 09:00:00
1105
原创 第十九章：生产之路：LLM 应用部署、运维与优化
本章，我们一起走过了将 LLM 应用从本地实验推向生产环境的关键路径。我们探讨了不同的部署架构，实践了 LangServe, FastAPI, BentoML 等部署工具，学习了 Docker 容器化和 Kubernetes 编排的基础，构建了包含追踪、日志和指标的可观测性体系，并深入讨论了应对性能、成本和安全这三大核心挑战的最佳实践。最后，我们引入了 MLOps 的理念，强调了对 LLM 应用进行全生命周期管理的重要性。生产环境的复杂性远超本地开发。
2025-05-01 09:09:13
1113
原创 第十六章：LLM 应用质量保证：评估体系、工具与实战
LLM 应用质量保证是一个持续、多维度的过程，需要构建评估闭环fill:#333;color:#333;color:#333;fill:none;RAGAs/自定义脚本YesNo反馈/发现细微问题质量基本达标真实用户数据/反馈YesNo1.开发/迭代 RAG/Agent 应用2.离线自动化评估发现问题?3.人工评估4.A/B 测试 / 上线灰度达到预期?5.全量上线/持续监控评估体系全景图:自动化指标 (RAGAs) + 单元测试快速迭代。
2025-05-01 09:00:00
1006
原创 第十二章：前沿 Agent 探索：新兴框架、项目与范式
本章，我们探索了智能 Agent 的前沿动态，通过案例研究分析了领域适应和热门开源项目的设计模式与挑战，探讨了新兴范式，并分享了持续学习的策略。前沿探索常建立在 LangChain, LangGraph, AutoGen, CrewAI 等提供的基础概念和组件之上，并在自主性、规划、记忆、多模态等方面进行突破。理解基础有助于评估前沿进展。本章提及的具体项目（特别是 12.2 节）具有时效性。掌握12.4 节的持续学习方法至关重要，以便自行跟踪最新进展。
2025-04-30 10:20:55
969
原创 第十一章：跨越边界 - 多模态 LLM 应用初步实践
作为 GPT-4 的多模态版本，具备强大的图文理解和对话能力。通常通过 OpenAI API 访问 (例如模型名称或更新的gpt-4oGoogle 的多模态模型，可以通过 Google AI Studio 或 Vertex AI API 访问，同样具备出色的 VQA 和图像理解能力。一个流行的开源多模态模型系列，有不同大小和能力的版本，可以在本地部署（需要相应硬件）。Anthropic 的 Claude 3 系列也具备了图像理解能力。还有许多研究性或特定领域的多模态模型不断涌现。
2025-04-30 09:00:00
1733
原创 第十章：CrewAI - 面向流程的多 Agent 结构化协作
CrewAI 的设计哲学是面向流程、任务驱动、角色明确。Agent代表一个具有特定专长和目标的执行者。role(核心)Agent 的角色名称 (例如，“市场研究员”)。goal: Agent 的具体工作目标。backstory: Agent 的背景故事/人设，有助于 LLM 代入角色。tools(可选)该 Agent 可使用的Tool对象列表。llm(可选)驱动该 Agent 的 LLM 实例（默认使用全局配置）。verbose: 是否打印详细日志。(重要)是否允许该 Agent 将任务委派。
2025-04-29 13:59:13
1153
原创 第九章：AutoGen - 基于对话的多 Agent 协作与安全代码执行
本章我们深入了 AutoGen 框架，掌握了其多 Agent 系统的核心方法。AutoGen 的核心竞争力在于其灵活的、基于对话的协作机制，以及内置的、强调安全的代码执行能力。学习了核心 Agent 类型、GroupChat/Manager 机制、安全代码执行配置与实践。对比：与LangGraph: 强于单 Agent 复杂流程的精确控制、显式状态管理。AutoGen: 强于多 Agent间基于对话的灵活协作和代码执行。AutoGen: 对话更自由、动态。CrewAI: 提供更结构化、面向流程。
2025-04-29 09:59:36
1205
原创 第八章：LangGraph - 用状态机驾驭复杂 Agent 流程
这是在图中流转的数据结构。常用TypedDict(来自typing或为字典的键指定类型。与配合，LangGraph 能自动合并节点返回的部分更新字典。使用和可以方便地实现列表状态的自动追加。input: str# Annotated[...] 让 LangGraph 知道如何合并：将新元组追加到列表error_message: Optional[str] # 可以添加用于错误处理的状态PydanticBaseModel提供更强的数据校验。
2025-04-28 10:00:00
2178
原创 第七章：LangChain Agent 基础：构建、定制与调试
通过 “Thought (思考), Action (行动), Action Input (行动输入), Observation (观察结果)” 的交错循环工作。LLM 显式地输出其思考过程。通用性强，推理过程透明。可能需要更精巧的 Prompt 和 Parser，对 LLM 的遵循指令能力要求较高。利用 OpenAI 等模型内置的函数调用 (Function Calling)或工具使用 (Tool Use)能力。LLM 直接返回结构化的工具调用指令。更结构化，通常更可靠，Prompt 可能更简洁。
2025-04-28 09:00:00
986
原创 第六章：LangChain - LCEL 驱动的高级 RAG 实战
在本章中，我们深入体验了 LangChain 利用其核心LCEL构建高级 RAG 应用的强大能力。我们看到 LCEL 如何像胶水一样将各种 RAG 组件（Retriever, Prompt, LLM, Parser, Memory）流畅地粘合在一起，形成清晰、可组合、可扩展的 RAG 链。LangChain 提供了丰富的内置组件，LCEL 则赋予了开发者极大的灵活性来编排它们。使用 LCEL 构建 RAG 链的核心模式。
2025-04-24 13:46:22
746
原创 第五章：LlamaIndex - 高级索引、查询管道与图 RAG 实战
本章我们深入探索了 LlamaIndex 在构建高级 RAG 应用方面的强大能力。我们体会到 LlamaIndex 灵活的数据抽象 (Node与关系)、多样的索引类型（超越向量）、以及可组合的查询管道设计是其核心优势，使其能够构建出功能强大且高度定制化的 RAG 系统。多种高级索引的概念（SummaryTreeKeyword）及其适用场景。增强检索效果的高级策略：查询转换 (HyDE) 和重排序 (Reranker)。构建复杂查询管道的方法，组合检索、重排序等步骤。利用实现。
2025-04-24 11:37:00
1239
Prefix-Tuning Optimizing Continuous Prompts for Generation.pdf
2024-06-13
Instruction Tuning for Large Language Models A Survey.pdf
2024-06-13
LoftQ LoRA-Fine-Tuning-Aware Quantization for LLM.pdf
2024-06-13
FINETUNED LANGUAGE MODELS ARE ZERO-SHOT LEARNERS
2024-06-13
AdaLoRA Adaptive Budget Allocation for PEFT.pdf
2024-06-13
Scaling Down to Scale Up A Guide to PEFT.pdf
2024-06-13
Class-based n-gram models of natural language.pdf
2024-06-09
Learning distributed representations of concepts.pdf
2024-06-09
LongReward: Improving Long-context Large Language Models with AI
2024-11-05
ReST-MCTS*: LLM Self-Training via Process Reward Guided Tree Sea
2024-11-05
Llama 2 Open Foundation and Fine-Tuned Chat Models.pdf
2024-06-15
ZeRO-Offload Democratizing Billion-Scale Model Training.pdf
2024-06-15
ST-MOE DESIGNING STABLE AND TRANSFERABLE SPARSE EXPERT MODEL.pdf
2024-06-15
GLaM Efficient Scaling of Language Models with MOE.pdf
2024-06-15
ZeRO Memory Optimizations Toward Training LLM.pdf
2024-06-15
Mixture-of-Experts with Expert Choice Routing.pdf
2024-06-15
Learning Factored Representations in a Deep MOEs.pdf
2024-06-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人