- 博客(3155)
- 收藏
- 关注
RSS订阅转载 大内存时代——为什么PageSize仍不建议选择16KB或64KB
使用64KB页面可加速TLB查找，减少磁盘写入次数，提高缓存利用率，但这些优势在现代64位系统中已不明显。综上所述，大内存时代下，选择合适的PageSize配置需权衡多种因素。尽管16KB或64KB页面在特定场景中可能带来性能提升，但在现代系统中，透明大页已成为更灵活且高效的内存管理选择。通过透明大页，系统能在保留兼容性的同时，最大化利用大内存的优势，提升整体性能。1996年，盖茨在接受媒体采访时澄清了有关“640K内存”的传闻：“我虽说过一些蠢话，做过一些傻事，可这句话绝对不是我说的。
2025-08-08 08:42:17
2
转载 openEuler 24.03 LTS 特性解读 | 动态复合页
长期以来 Linux 内核中物理内存是基于 struct page 来管理的，每个 page 对象描述一个基础页（如 4K），随着当前大模型、大数据等业务大内存需求，单个系统上的内存容量可以达到 TB 级别，以 page 为单位管理内存越显低效。
2025-08-07 18:20:17
10
转载 MemAgent：当LLM学会记笔记，350万字超长文本处理难题迎刃而解
今天，我们要聊一个让所有大模型开发者都头疼的问题——。想象一下，让AI阅读一本几十万字的小说并回答一个横跨多个章节的细节问题，或者让它分析一个包含数百万行代码的整个项目。这些任务对于当前的大模型来说，几乎是不可能完成的任务。问题的根源在于Transformer架构的天生缺陷——O(n^2)的计算复杂度。这意味着上下文长度（n）每增加一倍，计算量和内存消耗就会暴增四倍。
2025-08-05 13:55:17
117
转载 上下文工程：Context Engineering爆火！唤醒大模型“心智”，AI智能体落地的关键武器来了
Claude Code 在上下文窗口使用率达到 95% 后会自动对对话轨迹进行总结，再替代注入。这种方式可以采用递归摘要、层次摘要等策略，也可以训练微调模型用于关键事件提取。
2025-08-05 12:01:56
34
转载 上下文引擎（Context Engine） - 智能体的核心基石技术分析
在人工智能的浪潮之巅，大型语言模型（LLM）无疑是那颗最耀眼的明星。从GPT系列到各类开源模型的井喷式发展，我们见证了机器在理解和生成人类语言方面取得的惊人飞跃。这些模型正在成为新一代AI应用，尤其是AI编程助手的基石。技术迭代的速度令人目不暇接，似乎一个更强大的编码专用大型语言模型永远在下一个拐角处等待着我们。然而，一个不容忽视的现实是，无论多么强大的通用LLM，其知识都来自于公开的、海量的训练数据。当面对一个企业或个人私有的、具体的代码库时，它天生就是“失忆的”。
2025-08-05 11:46:48
21
转载 MCP-Zero重塑工具调用范式：让Agent学会“主动要”，而不是被动等“喂”
MCP-Zero 像给AI Agent装上了智慧的“雷达”和高效的“物流系统”。它教会AI在需要时清晰地说出“我要什么”，然后用巧妙的分层检索迅速找到，按需取用，动态搭建解决复杂任务的“工具链”。实验结果证明，它能省下98%的算力开销，同时在几千个工具中精准定位稳定处理复杂协作。这不仅是一项技术创新，更是迈向能真正驾驭庞大工具世界的实用型AI Agent的关键一步。未来，当它与能“创造工具”的AI结合，一个自我装备、自我升级的智能体生态将不再是科幻。AI Agent的“工具自由”时代，或许就此开启！
2025-08-05 11:24:09
97
转载 大模型的推理过程
大模型的推理过程是“简单+粗暴”的，但是不少同学仍然对其过程不太清楚。本文从一个通俗的角度出发，以一些例子来帮助大家更好地理解大模型的推理过程，也顺便了解一下什么是 KVCache 技术。
2025-08-05 11:07:49
25
原创 大模型如何处理多角色（role）和多内容块（content）的提示词
您的输入会被处理为两个连续的user消息块，可能被合并为的纯文本输入。如需更精确的控制，建议合并内容到单条消息或查阅具体模型的文档。
2025-08-05 09:33:08
293
原创 提示词中上下文的位置对信息提取的影响
将文章放头部，并在指令中明确提取范围（如“前3段”或“第二章”），避免模型因输入过长而丢失重点。：对同一篇文章，分别尝试两种结构，对比提取结果的准确性和完整性。：模型会优先“聚焦”文章内容，再根据后续指令提取关键信息。2、对复杂任务或长文本，通过分隔符和分步指令优化效果。：模型先接收指令（如“提取关键信息”），再处理文章。文章较长，需确保模型充分理解上下文后再执行任务。3、通过测试验证不同结构的实际表现，灵活调整。指令复杂，需模型先明确任务目标再分析文章。1、默认将文章放头部，指令简洁明确。
2025-08-05 09:25:16
261
转载 产品级AI应用的核心：上下文工程
从提示工程到上下文工程，这不仅仅是一个技术名词的升级，更像是一种思维模式的跃迁。在上下文工程中，有记忆，有工具，有结构化的知识，有多样的智能体协同。它为模型提供了一个稳定、可靠且信息丰富的工作环境。希望今天的分享，能让你在构建自己的AI应用时，不止于打磨那一句精妙的Prompt，而是能退后一步，从系统和架构的视角，去思考如何为你的AI，构建一个真正强大的“上下文”。，它能帮助我们更加系统化的去理解和学习上下文工程，感兴趣的读者可以自行深入学习。产品级AI应用的核心：上下文工程。
2025-08-04 10:56:26
41
转载 结构化 Prompt
对一些基础简单的 Prompt 来说（比如只有一两句话的 prompt），可能在不同模型上表现差不多，但是任务难度变复杂，prompt 也相应的复杂以后，不同模型表现则会出现明显分化。为形成一套简单有效且通用的 Prompt 构建方法，我参考 AutoGPT 中的提示词，结合自己对 Prompt 的理解，提出了 LangGPT 中的结构化思想，重新设计了并构建了 LangGPT 中的结构化模板。实践中，只要能满足你的需求，能够让你又快又好的编写出高性能 Prompt，就是好的 Prompt 方法！
2025-08-01 11:59:48
46
转载 提示词教程
在与ChatGPT的互动中，课程学习提示就是设计一系列的任务，从简单的开始，然后逐渐增加难度，帮助模型逐步学习并掌握更复杂的技能。在与ChatGPT的互动中，控制生成提示就是给出具体的指示，让模型按照你的要求来生成文本，无论是遵循特定的结构、使用特定的词汇，还是满足某些特定的内容标准。在与ChatGPT的互动中，文本分类提示就是让模型做类似的判断，它需要理解文本的内容并将其分配到正确的类别中。在与ChatGPT的互动中，情感分析提示就是让模型做同样的事情，它需要理解文本的含义并判断其中的情感倾向。
2025-08-01 11:56:31
22
转载 ChatGPT在数据情报分析领域的应用探索
我们只需要通过特定的提示词，让它输出想要的内容，再录入本地执行，获得最终的结果。对工具的使用，正是人类优越性的体现。通过这种方式，能够让初级水平的分析人员，也能轻松写出高级水平人员才能完成的“复杂的”函数命令或Python脚本、绘制出专业的数据图表。然而，尽管ChatGPT在数据分析领域具有巨大的潜力，但对于公共安全领域来说，数据大多都是涉密的，不允许被发布到互联网中。，在面对超复杂的数据分析场景， ChatGPT提供的支撑具有局限性，此时还需要借助专业的数据分析工具，比如火眼等。
2025-08-01 10:53:13
66
转载 【Agent】基于大模型进行结构化信息提取优化策略
如果有多个参考摘要，对每个参考摘要分别计算召回率，然后取最大值作为最终的ROUGE-N召回率。5、
2025-08-01 09:51:59
39
转载 使用本地大模型从论文PDF中提取结构化信息
本文探讨了利用大语言模型(LLM)从学术论文PDF中批量提取结构化信息的方法。相比传统正则表达式，LLM在灵活性、上下文理解和扩展性方面具有明显优势。文章详细介绍了工作流程：通过Ollama服务部署本地LLM模型(llama3.1)，设计专业提示词模板，从PDF中提取标题、作者、摘要等关键信息并转换为JSON格式。实验以经典论文《Attention Is All You Need》为例，展示了完整的代码实现方案，包括环境配置、提示工程、异常处理和批量处理等功能。该方法为科研人员提供了高效的非结构化数据处理工
2025-07-31 17:50:05
80
转载 结构化提示词：让AI高效完成复杂任务的“编程语言”
在人工智能时代，提示词（Prompt）已成为连接人类意图与AI能力的核心媒介。，其设计过程堪比编写程序代码——通过将重复要素模块化、流程节点标准化，实现复杂任务的精准拆解与稳定输出。与传统自然语言交流不同，：如同定义函数作用域，明确AI的"身份-能力"边界：像编写算法流程，设定"目标-约束-步骤"的完整执行链：规定返回值的"格式-示例"，确保结果可预期、可复用：一个精心设计的提示词可替代数十次低效对话通过固定逻辑框架消除AI输出的随机波动：模块化提示词成为可迭代的"数字资产"
2025-07-31 11:57:09
224
转载 结构化提示词Prompt方法论
结构化Prompt是一种精心设计的输入模板。结构化将信息以一种特定的格式组织起来，以便人工智能系统能够更准确地理解和处理这些信息。这种模板通常包含一系列预定义的字段和指示，用于引导AI生成特定风格或格式的输出。通过使用结构化Prompt，用户可以更有效地与AI沟通，同时AI也能够提供更准确、更符合用户需求的回答。这种模板有助于减少歧义，提高沟通的效率，并确保信息的清晰和有序。
2025-07-31 11:18:11
35
转载 Prompt老跑偏？教你写出模型真正听得懂的提示词
为什么有些人随手写个 Prompt 就能生成一款小游戏、一个运营文案，甚至一整个功能代码，而自己试了半天，结果不是风马牛不相及，就是跑偏到离谱？问题很可能就出在提示词的“”上。随便说几句话和有条理地引导模型，其实是两回事。结构化提示词，说白了就是把你想让模型干的事，拆清楚、说明白、讲具体。只有写得准，模型才听得懂、干得对。在本篇文章中，就来聊聊怎么写好结构化提示词，让大模型更乖乖按你的想法工作。本文摘自《智能体设计指南》投稿 | 机械工业出版社出品 | CSDN（ID：CSDNnews）
2025-07-31 11:04:07
51
转载 使用LLM大模型进行结构化实体抽取
利用大语言模型进行命名实体提取不仅仅是一次技术演进，更是我们处理信息方式的一场革命。而当文档是图片或复杂的 PDF 时，情况就更棘手了，需要额外的光学字符识别（OCR）库，这又会引入新的潜在错误。这种方法的简便性带来了无限可能。企业中的每一份非结构化文档都存在自动化的机会，每一个手动录入流程都有优化的空间。与传统模型不同，大语言模型能自然适应文档中的各种变化。大语言模型能自然处理不同语言的文档，而传统方法则需要特定的模型才能实现这一点。一份布局不同的合同，甚至是较差的图像质量，都可能影响提取结果。
2025-07-31 08:56:46
126
转载 混合专家模型（MoE）深度解析
在MoE模型中，通过增加专家的数量，可以在不显著增加整体计算成本的情况下，扩大模型的参数量和模型容量。例如，Eigen、Ranzato和Ilya等人在他们的研究中，将MoE模型与深层神经网络相结合，通过在不同的网络层级中设置专家模型，使得模型能够更好地处理复杂的输入数据和任务，同时保持较高的计算效率。例如，在处理包含数十亿甚至数百亿条数据的自然语言处理任务时，MoE模型可以通过分布式训练和推理，将不同的专家分配到不同的计算节点上，实现高效的并行处理，大大缩短了训练时间，提高了模型的训练效率。
2025-07-30 17:18:36
121
原创 LLM中的激活是什么意思
在大语言模型（LLM）中，“激活”（Activation）是一个核心概念，它既指神经元或层的输出值（数值结果），也涉及模型在推理或训练时的动态计算过程。在LLM的神经网络中，每一层（如全连接层、自注意力层）的神经元会对输入数据进行计算，并输出一个数值结果，这个结果被称为。它是模型对输入数据的中间表示，反映了神经元对输入特征的响应程度。：输入数据与权重矩阵相乘，加上偏置项，得到线性组合结果。：线性结果通过非线性函数（如ReLU、GELU、Swish）进行变换，引入非线性能力，使模型能够学习复杂模式。
2025-07-30 16:31:31
877
转载 “提示词” vs “提示词工程” vs “上下文工程”
提示词很好理解，就是给 AI 模型的输入文本，就是你直接向模型输入的问题或指令。比如你让 ChatGPT 总结一段文本、调用模型 API 传入提示词去翻译一篇文章等等。提示词是一段文本，有点像代码。提示词工程是一个过程，系统化地设计、测试、优化提示词的过程。就像软件工程，我们为了完成某个需求，要有一套科学的方法来帮助完成软件开发的过程，有方法论（比如敏捷开发），要使用工具，要保证质量，不断迭代，最终交付软件，或者说代码。举个例子比如我们要有个提示词帮助翻译英文文章到中文。
2025-07-30 10:47:08
51
转载 上下文工程（Context Engineering）综述：大模型的下一个前沿
核心问题：如何形式化描述LLM与上下文的交互？论文突破性地将上下文 ( C ) 定义为动态结构化信息组件的集合，而非静态字符串。关键数学原理与提示工程的本质区别维度提示工程上下文工程模型静态字符串动态结构化组装目标优化单次提示系统级函数优化状态性无状态显式记忆与状态管理扩展性长度增加导致脆弱性模块化组合管理复杂度。
2025-07-30 10:06:52
62
转载 大模型上下文工程（context engineering）
在实践中，最先进的AI应用（如 Palantir AIP、Databricks Mosaic AI Agent Framework 等）往往会融合以上所有范式，构建出一个能够根据任务需求，灵活地检索静态知识、调用实时工具、并保持长程对话记忆的复杂系统。百度安全验证。
2025-07-30 09:44:37
53
转载 大模型上下文工程（Context Engineering）详解
上下文工程是长文本时代的核心基础设施——它让大模型从“短文本专家”蜕变为“复杂知识管家”。与提示工程结合时，可构建完整的输入优化链：提示工程控制“思维方向” + 上下文工程提供“思维素材”。上下文工程作为大模型时代的新兴技术领域，为我们提供了有效利用长上下文能力的系统性方法。它不仅仅是技术的升级，更是思维方式的转变——从关注单一指令的优化转向整个信息空间的管理和利用。大模型上下文工程（Context Engineering）详解 - 53AI-AI知识库|大模型知识库|大模型训练|智能体开发。
2025-07-30 09:24:23
119
转载 大模型效果差？可能你输在了上下文工程！
人类再聪明，也受环境所限；模型再强大，亦为上下文所困。面对大模型的浪潮，一个根本性的选择摆在我们面前：是，还是？造模型：需要基础训练和模型优化。需要AI研究员，聚焦于基础训练与模型优化，解决的是领域理解的问题。用模型：需要应用增强模型能力。需要工程师，聚焦应用增强层落地，解决的是领域流程的问题。现在也不用想了，造模型的就这么几家大玩家，广大的人民群众都转到用模型的赛道上，这也是智能体为什么火的原因之一。其实选哪种方式，最终的决策在ROI投入产出比。显然从ROI角度考量，
2025-07-30 08:38:50
32
转载 AI深度探秘：4个常用参数，让你轻松驾驭聊天大模型
各聊天大模型中都有个参数，决定了每次大模型回复时能说最多多少个字的内容，这个参数就是“Max_Tokens”。说到这个参数，不得不先说一下“Token”这个词。
2025-07-29 17:03:24
50
转载 《Google Prompt Engineering》白皮书
你不需要成为数据科学家或机器学习工程师 - 每个人都可以编写提示。在考虑大语言模型的输入和输出时，文本提示（有时伴随着其他模态，如图像提示）是模型用来预测特定输出的输入。你不需要成为数据科学家或机器学习工程师 - 每个人都可以编写提示。然而，编写最有效的提示可能很复杂。提示的许多方面都会影响其效果：你使用的模型、模型的训练数据、模型配置、你的措辞、风格和语气、结构以及上下文都很重要。因此，提示工程是一个迭代过程。不充分的提示可能导致模糊、不准确的响应，并可能阻碍模型提供有意义的输出。
2025-07-29 14:59:40
45
转载 Google LLM prompt engineering(谷歌提示词工程指南)
当你与大型语言模型（如Gemini）交流时，你输入的文字就是"提示"，AI会根据这些提示生成回答。提示工程就是设计高质量提示的过程，引导AI产生准确的输出。小贴士： 你不需要成为数据科学家或机器学习工程师 — 任何人都可以学习如何写好提示！大型语言模型（LLM）是一个预测引擎。当你输入文字时，模型会根据它训练过的数据预测下一个词应该是什么。通过精心设计的提示，你可以引导模型生成更符合你期望的回答。为什么提示工程很重要？好的提示让AI给出准确、有用的回答不好的提示可能导致模糊、不准确的回答。
2025-07-29 14:10:44
65
转载 RAG中的检索、召回以及排序
是检索的第一步，核心目标是“尽可能多地找到相关文档”，即使包含部分冗余。例如：用关键词“番茄+鸡蛋”找到100篇菜谱，再用语义匹配筛选出30篇最相关的。技术本质是通过算法（如关键词匹配、语义相似度计算）从文档库中“捞”出可能相关的段落，供大模型后续加工。召回的两种实现方案1）关键词匹配：像“Ctrl+F搜索”：直接匹配问题中的关键词（如“AI产品经理”），适合找专有名词和明确术语。但缺点是无法理解语义，比如搜“人工智能”可能漏掉标“AI”的文档。2）语义搜索。
2025-07-29 11:23:45
73
转载 什么是需求洞察？用户说的要不要都做
这是一本书，也是张此前一次演讲的文字总结。我摘抄如下：我做了一个实验。之前我发现，我在计算机前写微博，想不到要写什么好时，更多是看别人的微博来评论一下或者转发一下而已。这是“我在计算机前”这个“环”下的反应。然后有一天我想，如果我不在计算机前， “环境”怎么刺激我呢？当我走在路上的时候，会有很多想法，我把它们记录下来，并整理成微博发出。我发现，我在路上记录的想法，和我在计算机前发的微博是完全不同的。在计算机前更多时候是评论和转发，而在路上，受到很多现实的刺激，想法很活跃也很跳跃，跟现实很贴近。从这点来看，朋
2025-07-29 09:50:51
27
转载 什么是边缘计算盒子？
以前做安全生产智能监控系统都是用海康的摄像头，通过后台的智能管理平台和超脑来完成算法分析，对人的不安全行为（吸烟、不戴安全帽）进行自动报警。拓扑图如下：图1 海康智能分析摄像头组网拓扑这种方案应用场景很广，唯一的缺陷是造价较高，一方面是海康的智能摄像头价格较贵（2000-3000元），另一方面是管理后台根据算法种类的多少还需要增加相应的管理模块（单独收费），并且整个系统不兼容其他品牌的摄像头（如大华、宇视、天地伟业等）。
2025-07-28 14:06:15
122
转载 PyV8: 在Python中运行JavaScript的利器
Python作为编程世界中的一股清流，不仅有着丰富而强大的标准库，还有着形形色色的第三方库来丰富其生态。在众多第三方库中，PyV8是一个将Google的V8 JavaScript引擎嵌入Python环境的库，它允许Python代码直接执行JavaScript代码。这不仅意味着可以利用V8引擎的速度优势，还能够在Python项目中便捷地引入JavaScript的诸多功能。本章节将从PyV8库的基础概念出发，带你了解其背后的技术原理以及主要用途。
2025-07-25 17:49:40
49
转载 java调用js文件的两种常用方法示例（支持V8引擎
在日常逆向中，一些前端的加密代码用java复现出来比较难，所以经常需要调用js文件来实现加密操作，接下来将介绍两种常用调用js的思路，第一种适用于普通js文件，第二种则适用于比较新的V8引擎。在实现的过程中，也会展示可能遇到的问题以及解决办法，废话不多话，正文开始！
2025-07-25 17:26:50
55
原创 docker ps 报错如下：permission denied while trying to connect to the Docker daemon socket at unix:///var/
这个错误表明当前用户没有权限访问 Docker 守护进程的 Unix 套接字文件。如果路径异常，检查 Docker 配置文件（如。：此方法会降低安全性，仅建议临时测试使用。如果不存在，先安装 Docker（1）Docker 守护进程默认以。但长期使用不推荐（安全性较低）。组成员的用户有权访问该套接字。（或重启系统），使组权限生效。如果不想修改用户组，可以通过。⚠️ 避免在生产环境中使用。组，平衡便利性与安全性。
2025-07-25 15:36:08
434
原创 Docker容器导出并导入镜像
使用当你需要备份或迁移整个镜像，包括其历史记录和元数据时使用。使用当你只需要导出容器的文件系统，用于迁移容器状态但不包括其运行时数据时使用。选择哪种方法取决于你的具体需求。如果你只是想迁移一个完整的应用环境，包括配置和环境变量等，使用更为合适。如果你只是想迁移容器的内容和配置文件，不关心运行时的动态数据，那么使用更为合适。
2025-07-25 15:08:45
905
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人