
大模型应用开发
文章平均质量分 95
本专栏会汇总大模型开发常用的一些技术,包括Prompt、Function Calling、RAG、Assistants、LlamaIndex、LangChain、Agent、工作流、模型微调等等技术。
SunnyRivers
在通信、游戏、互联网、新能源等不同行业从事过多年大数据开发相关工作,想通过博客和大家一起分享大数据技术带来的经验和乐趣。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
神经网络与Transformer详解
我们可以通过一个模型把一个Token变成一个Embedding向量、把一个单词变成一个Embedding向量、把一句话变成一个Embedding向量、把一张图变成一个Embedding向量。原创 2025-06-01 11:05:41 · 1105 阅读 · 0 评论 -
吴恩达讲解MCP基础概念
MCP 是一个开放协议 标准化了您的语言模型应用如何获取工具和数据资源的上下文。基于客户端-服务器架构,它定义了您的语言模型应用中的MCP客户端与MCP服务器之间的通信方式,MCP服务器提供工具 数据资源和提示模板给您的应用,自Anthropic于2024年11月推出MCP以来,MCP生态系统发展迅速。原创 2025-06-01 10:24:37 · 760 阅读 · 0 评论 -
MCP入门实战(极简案例)
MCP(Model Context Protocol,模型上下文协议)2024年11月底由 Antbropic 推出的一种开放标准,旨在统一大型语言模型(LLM)与外部数据源和工具之间的通信协议。Function Calling是AI模型调用函数的机制,MCP是一个标准协议,使AI模型与API无缝交互,而Al Agent是一个自主运行的智能系统,利用FunctionCallinq和MCP来分析和执行任务,实现特定目标。Function Calling 现在基本上被淘汰了,现在几乎全部都用MCP了。原创 2025-05-30 00:13:23 · 1334 阅读 · 0 评论 -
Workflow
在复杂工作流中,如果所有的数据都使用全局环境数据通讯,尤其是在不同工作块中对同一个键指向的数据进行操作时,会因为对运行时序的判断困难而导致数据管理混乱,这时候,需要通过块间数据传递来确保数据变化与运行时序期望一致,用大白话说,就是确保“块2”能够正确使用它的前一个块“块1”生成的数据进行工作。工作流相当于提供了一个复杂的沙盒环境,沙盒环境中的全局环境数据会影响工作流运行状态,并存储工作流运行过程中的过程数据和最终成果。以下讨论点全部为开放性讨论,没有标准的正确答案,仅作为启发思考和开拓思路的作用。原创 2025-05-27 21:19:51 · 1511 阅读 · 0 评论 -
大模型Agent
善用思维链技巧在重要的环节设置反思与纠偏机制约定思维链中需要包含的要素,尽量详细具体不可能一遍成功,要学会通过测试的失败例子优化提示词的细节要善于将问题总结成方法论型的提示词(把 AI 当人看)要善于综合使用各种提示词技巧,例如:举例子、PoTAoT等等。原创 2025-05-26 23:02:16 · 845 阅读 · 1 评论 -
维护测试监控LLM应用
LangFuse: 开源 + SaaS(免费/付费),LangSmith 平替,可集成 LangChain 也可直接对接 OpenAI API;LangSmith: LangChain 的官方平台,SaaS 服务(免费/付费),非开源,企业版支持私有部署;调试 Prompt 的 Playground测试/验证系统的相关指标数据集管理各种指标监控与统计:访问量、响应时长、Token 费等等。原创 2025-05-25 10:45:20 · 1074 阅读 · 0 评论 -
LangChain
LangChain 也是一套面向大模型的开发框架(SDK)LangChain 是 AGI 时代软件工程的一个探索和原型学习 LangChain 要关注接口变更将大语言模型作为一个推理引擎。给定一个任务,智能体自动生成完成任务所需的步骤,执行相应动作(例如选择并调用工具),直到任务完成。可以是一个函数或三方 API也可以把一个 Chain 或者 Agent 的 run()作为一个 Tooltools = [),需要注册SerpAPI(限量免费),并将。原创 2025-05-24 18:13:01 · 637 阅读 · 0 评论 -
LlamaIndex
LlamaIndex 是一个为开发「上下文增强」的大语言模型应用的框架(也就是 SDK)。上下文增强,泛指任何在私有或特定领域数据基础上应用大语言模型的情况。例如:Question-Answering Chatbots (也就是 RAG)Document Understanding and Extraction (文档理解与信息抽取)Autonomous Agents that can perform research and take actions (智能体应用)原创 2025-05-21 23:07:42 · 702 阅读 · 0 评论 -
Assistants API
GPT Store和这一波操作一度被认为是创业公司终结者界面不可定制,不能集成进自己的产品只有 ChatGPT Plus/Team/Enterprise 用户才能访问未来开发者可以根据使用量获得报酬,北美先开始承诺会推出 Team/Enterprise 版的组织内部专属 GPTs定制界面,或和自己的产品集成需要传大量文件服务国外用户,或国内 B 端客户数据保密性要求不高不差钱需要极致调优追求性价比服务国外用户,或国内 B 端客户数据保密性要求不高服务国内用户。原创 2025-05-19 23:30:05 · 707 阅读 · 0 评论 -
大模型RAG
LLM 的知识不是实时的LLM 可能不知道你私有的领域/业务知识2.2、检索增强生成RAG(Retrieval Augmented Generation)顾名思义,通过检索的方法来增强生成模型的能力。RAG类比:你可以把这个过程想象成开卷考试。让 LLM 先翻书,再回答问题。向量是一种有大小和方向的数学对象。它可以表示为从一个点到另一个点的有向线段。例如,二维空间中的向量可以表示为xy(x,y)xy,表示从原点00(0,0)00到点xy(x,y)xy的有向线段。原创 2025-05-18 08:46:41 · 923 阅读 · 0 评论 -
Function Calling
详细拆解业务 SOP,形成任务工作流。每个任务各个击破,当前别幻想模型一揽子解决所有问题不是所有任务都适合用大模型解决。传统方案,包括传统 AI 方案,可能更合适一定要能评估大模型的准确率(所以要先有测试集,否则别问「能不能做」)评估 bad case 的影响面大模型永远不是 100% 正确的,建立在这个假设基础上推敲产品的可行性。原创 2025-05-15 22:25:05 · 1019 阅读 · 0 评论 -
Prompt Engineering提示工程
Prompt 最早出现在 2018 年。2019 年,GPT-2 第一个在 LLM 中引入了 promptPrompt 就是发给大模型的指令,比如「讲个笑话」、「用 Python 编个贪吃蛇游戏」、「给男/女朋友写封情书」等大模型只接受一种输入,那就是 prompt本质上,所有大模型相关的工程工作,都是围绕 prompt 展开的提示工程「门槛低,天花板高」,所以有人戏称 prompt 为「咒语」Prompt 在未来也许是人类操作 AI 的唯一方式。原创 2025-05-13 23:26:05 · 655 阅读 · 0 评论 -
大模型开发环境搭建
官方文档:https://platform.openai.com/docs/overview中文文档:openaicto.com计算token:https://platform.openai.com/tokenizer成立背景: OpenAI 成立于 2015 年,由一群高科技界的重要人物创立,包括 Elon Musk 和 Sam Altman。其目标是推动人工智能(AI)的发展,同时确保 AI 的发展能够造福全人类。原创 2025-05-12 23:07:29 · 970 阅读 · 0 评论 -
大模型应用开发工程师需要学什么
大模型,全称「大语言模型」,英文「Large Language Model」,缩写「LLM」。AI 全栈课程主要以 OpenAI 为例,少量介绍国产大模型,微调会用开源大模型。OpenAI 的接口名就叫「completion」,也证明了其只会「生成」的本质。然后用测试数据,在可以选择的模型里,做测试,找出最合适的。用人类比,训练就是学,推理就是用。很多企业将大模型和业务相结合,取得了或大或小的效果。其实,它只是根据上文,猜下一个词(的概率)……凡是问「哪个大模型最好。没有最好的大模型,只有最适合的大模型。原创 2025-05-12 22:08:29 · 864 阅读 · 0 评论