AI人工智能的学习之路

大规模AI系统构建的关键阶段 本文探讨了构建能够服务数百万用户、处理TB级数据的AI系统所需的核心开发阶段。第一阶段聚焦系统硬件与基础设施，详细分析了三种主流计算硬件(CPU/GPU/TPU)的适用场景，以及FPGA、ASIC等新型硬件的优势。文章指出硬件选择需结合模型架构和量化技术，并比较了不同云服务方案的性价比。 在分布式系统方面，强调了任务分解、资源自动调配和性能监控的重要性。网络优化需要关注延迟控制、带宽扩展和通信协议选择。数据存储解决方案则需根据数据类型选择对象存储/文件系统/数据库，并合理运用数

本文介绍了四种开源工具包，帮助企业高效微调大语言模型(LLM)。Unsloth显著降低显存占用，使单GPU微调13B参数模型成为可能；DeepSpeed实现大规模分布式训练，支持70B参数的超大模型；vLLM优化推理效率，吞吐量提升2-4倍；Axolotl简化微调流程，支持多种高效技术。这些工具共同解决了企业面临的计算资源有限、高风险领域需求和快速迭代周期等挑战，使生产级LLM微调变得实用且高效。通过合理组合这些工具，企业可在普通硬件上实现专业级的模型定制，获得竞争优势

MEMOS：面向大语言模型的内存操作系统 研究提出MEMOS系统，通过统一管理参数化、激活和纯文本三类内存，解决当前大语言模型在长期知识管理方面的局限性。创新性地引入MemCube作为标准化内存单元，支持跨类型调度和生命周期管理。采用三层架构设计，包含接口层、操作层和基础设施层，实现对内存的统一治理。该系统显著提升了模型在长期对话状态维护、知识演化和多代理协作等方面的能力，为构建更智能、持续学习的大语言模型提供了新思路。未来将探索跨模型内存共享和自演化内存机制。

摘要：论文《SQL-R1: Training Natural Language to SQL Reasoning Model By Reinforcement Learning》提出了一种基于强化学习的文本到SQL推理模型SQL-R1。该模型采用监督微调(SFT)和组相对策略优化(GRPO)两阶段训练，设计了格式、执行、结果和长度四层奖励机制。实验表明，SQL-R1在Spider和BIRD基准测试中分别达到88.6%和66.6%的执行准确率，显著优于传统方法。研究创新性地证明了强化学习在提升NL2SQL任务

在AI领域，小型语言模型（SLMs）正逐渐成为大型语言模型（LLMs）的有力替代品。SLMs通过精心设计的架构和优化技术，实现了在特定任务上的高效性能，同时具备低延迟、低功耗、离线运行等优势。本文详细探讨了SLMs的兴起原因、技术细节、实际应用案例以及如何选择适合项目的模型。SLMs不仅在资源受限的设备上表现出色，还为数据隐私和可持续性提供了更好的解决方案。随着技术的不断进步，SLMs正推动AI向更实用、更高效的方向发展。

本文利用高效记忆算法，可将LLM聊天机器人的API调用成本降低40%。该方案通过智能区分用户输入中的"陈述"和"问题"，仅对问题生成完整响应，从而减少不必要的标记使用。在营销活动策划场景的测试中，随着对话轮次增加，相比传统方法(所有对话历史均传递)，新算法显著减少了总标记数量。关键技术包括：陈述内容提取关键事实、记忆存储的动态更新机制(添加/更新/无操作)，以及基于语义相似度的检索系统。实验结果显示，在创建儿童故事

Mem0 成功模仿人类记忆机制，赋予大语言模型长期可靠的记忆能力，使模型不仅能 “记住” 信息，还能 “理解” 记忆中实体关系，在长时间对话中保持回答一致性与准确性，为实现更智能的人机交互提供了新途径

ReAct 和 CoAct 是两种将推理与行动结合的 AI 代理框架，旨在提升自主系统的能力。ReAct 通过让单一代理交替进行推理和行动，结合内部思维链与外部环境互动，显著提升了复杂任务的解决能力。它通过提示机制实现，适用于知识密集型任务和决策制定，增强了代理的透明度和适应性。然而，随着任务复杂性和长度的增加，ReAct 在记忆和规划深度方面面临挑战。CoAct 则通过引入多个代理的协作层级结构，将任务分解为全局规划和本地执行，提升了处理长周期任务的效率和鲁棒性。全局规划器负责高层次战略，本地执行器专注于

本文深入探讨了 LLM 增强型搜索技术，这种结合了大型语言模型（LLM）、检索增强生成（RAG）和智能代理技术的新一代搜索引擎，能够提供更智能、更人性化的搜索体验。与传统搜索引擎相比，LLM 增强型搜索不仅能够理解语义上下文，还能通过多轮对话、个性化推荐以及多模态和跨语言检索等方式，直接为用户提供简洁准确的答案，而不仅仅是网页链接。文章详细介绍了其核心技术架构、工作流程和实现方法，并分析了当前技术的局限性，如在处理位置相关查询时的不足、RAG 功能的不完善以及缺乏有效的评估基准等。同时，文章也展望了未来的发

RAG-MCP框架通过结合检索增强生成（RAG）原则和MCP框架，解决了LLMs在外部工具选择中的提示膨胀和决策复杂性问题。该框架的核心是语义检索模块，它将工具元数据表示为向量空间中的点，并高效匹配用户查询与最相关的工具，从而减少提示大小和复杂性，提高决策准确性。MCP压力测试表明，随着工具数量的增加，传统方法面临提示膨胀和决策开销问题，而RAG-MCP通过动态检索最相关的工具，显著提高了选择准确性和系统可扩展性。实验结果显示，RAG-MCP在选择准确性、提示令牌使用和任务成功率方面优于基线方法。然而，该方

本文详细介绍了如何利用知识图谱处理大数据，从数据获取、预处理到实体与关系的提取，再到知识图谱的构建与存储。通过使用Python及其相关库，结合LLM（大型语言模型）的强大能力，我们能够从海量新闻文章中提取有价值的实体和关系，并将其转化为结构化的知识图谱。此外，文章还探讨了知识图谱的可视化、查询分析以及如何通过嵌入技术进行链接预测，为后续的深入研究和应用提供了坚实基础。

本文探讨了在1B参数的LLaMA模型上测试17种提示工程技巧的效果，旨在通过优化提示方式提升小型LLM的生成结果。文章首先介绍了提示工程的重要性，强调通过改进提示内容可以引导模型生成更准确、创意或可靠的回答。接着，文章详细描述了如何搭建测试环境，包括加载模型和定义相关函数。随后，文章通过具体示例展示了零样本、少样本和角色提示等技巧的应用。零样本提示适用于简单任务，而少样本提示通过提供示例帮助模型更好地理解复杂任务。角色提示则通过指定模型扮演特定角色来调整回答的风格和内容。这些技巧的测试结果表明，合理使用提示

本文探讨了如何通过微调 ModernBERT 模型，为大型语言模型（LLM）打造高效且成本效益高的“安保”系统，以筛选用户查询。物流聊天机器人在上线后遭遇用户提出大量离题查询的问题，导致资源浪费和运营成本增加。文章分析了几种常见解决方案的局限性，如仅依靠系统提示过滤或使用专用 LLM 守门人模型，这些方法存在指令冲突、误报、校准困难和资源密集等问题。通过创建高质量训练数据集、多模型验证、人工细化标签以及高效微调 ModernBERT 模型，成功开发出一个精准高效的查询过滤系统，提升了性能并降低了成本

介绍了 FlashAttention 技术，它通过优化 GPU 内存层次结构和融合内核，实现了快速且节省内存的精确注意力计算。文章分为两部分：第一部分介绍了注意力机制的基础知识以及 GPU 优化方法；第二部分深入讲解了 FlashAttention 的核心算法，包括如何分解 SoftMax 操作以支持分块计算，以及如何在前向和反向传播中高效处理中间结果。FlashAttention 实现了 7.6 倍的速度提升和 O(N) 的内存复杂度，同时保持了精确的注意力分数，极大地推动了大规模模型训练的效率和可行性

物理信息神经网络（PINNs）代表了一种令人兴奋的新建模范式，这种范式正在各行各业迅速崭露头角。PINNs 最有前景的应用之一是复杂物理系统中的异常检测Anomaly Detection。这一应用尤其值得关注，因为它解决了传统机器学习方法在实践中一直难以克服的几个关键痛点。在这篇博客中，让我们通过回答实践者在采用基于 PINN 的方法进行异常检测Anomaly Detection时最常遇到的一些问题，深入探讨这个热门话题。

手动标注数据真的很费时间，而且买数据集又贵得要命，还不一定能完全符合你的需求。但这里有个令人兴奋的好消息，为啥不用 AI 来解决这个问题呢？别再依赖传统方法了，你可以用像 LLM（大型语言模型）和图像生成器这样的 AI 工具，为你的特定目标创建合成训练数据。如今有那么多开源和商业的 AI 模型可供选择，你可以根据自己的需求随意搭配，无论是想控制预算、提高效率，还是追求高质量的结果，都能轻松搞定。这对研究和商业来说，简直就是一场变革！

通过简单的步骤，用户可以将 Hugging Face 上的模型转换为 GGUF 格式，实现在本地离线运行大型语言模型。文章首先介绍了 Ollama 的优势，包括简单的命令行界面、内置 REST API、快速模型切换和离线支持。然后详细讲解了完整的工作流程：从寻找或创建 GGUF 版本的模型，到编写 Modelfile、创建和运行模型。对于没有现成 GGUF 版本的模型，文章还提供了详细的转换教程，包括安装依赖、下载模型、转换格式等步骤

我翻遍了arXiv上那些让人头秃的论文，发现它们不是在堆砌数学公式，就是在用更复杂的数学公式解释上一个数学公式。今天，本AI厨神就要用最接地气的烘焙大赛来拆解这些算法，保证让您看得津津有味，连隔壁卖煎饼的王大妈都能听懂！不过在那之前，各位AI厨师们，请继续在算法的厨房里挥洒汗水吧！里面记载着：“面粉要过筛三次”、“蛋白打发要逆时针搅拌”、“烤箱温度要精确到±1℃”——这些细节决定了你的蛋糕是米其林三星还是黑暗料理。适合预算有限但又要比DPO稳定点的项目，就像学校里的学习小组——虽然比不上私教，但比自学强。

SQL的专业性要求构成了数据民主化的主要障碍——据统计，仅约35%的开发人员接受过系统的SQL培训，而超过51%的专业岗位需要SQL技能。对于算法工程师而言，把握技术本质，理解业务需求，在生成质量与系统可靠性间寻求平衡，将是构建成功Text-to-SQL系统的关键。传统**自一致性(Self-Consistency)**方法假设多数投票最优，但在Text-to-SQL中面临两大局限：(1)最频繁的答案未必正确，(2)高温采样会降低候选质量。THEN"表达式)，(3)数仓建模时建立清晰的业务域映射。

SQL一直是数据分析领域的"普通话"，但如今有了AI，连SQL语法都可以丢进垃圾桶了！本文将手把手教你用LangChain和DuckDB打造一个会自己写SQL的AI小助手，连Kaggle数据集都能轻松调戏~

LLMLingua提出，经常忽略压缩内容之间的相互联系以及LLM与用于提示压缩的小型语言模型之间的相关性。LLMLingua 正是为了解决这些问题而设计的。具体来说，如图4所示，LLMLingua 使用预算控制器动态分配不同的压缩比例给原始提示的各个部分，如指令、演示和问题。它还执行粗粒度的演示级压缩，以在高压缩比例下保持语义完整性。此外，LLMLingua 引入了令牌级别的迭代算法，用于细粒度的提示压缩。图4：LLMLingua 的框架。LLMLingua。

徒手pytho撸出Transformer架构并一步步训练处一个LLM大模型

冻结视觉编码器和语言模型，只对 MLP 适配器进行少量数据的微调，让视觉特征与语言模型的隐层空间进一步对齐并校准。

DAPO为大规模LLM强化学习提供了开源解决方案，其技术细节（尤其是四大核心策略）对复现SOTA结果具有重要参考价值。算法工程师可基于此框架探索更复杂的RL应用场景，如多模态交互与自主决策。

从数据库中生成有洞察力和可操作的信息在数据分析中至关重要。本文介绍了一种使用大型语言模型（LLMs）自动生成文本洞察的新方法。我们的方法以多表数据库作为输入，利用LLMs生成简明的基于文本的洞察，反映表中的有趣模式。我们的框架包括一个假设生成器，用于制定与领域相关的问题，一个查询代理，通过生成针对数据库的SQL查询来回答这些问题，以及一个总结模块，用于将洞察进行语言化。通过人类判断和自动化指标的混合模型，对洞察的正确性和主观洞察力进行评估。在公共和企业数据库上的实验结果表明，我们的方法生成的洞察比其他方法更

Deepseek对模型蒸馏技术的创新点在于进一步优化了用于学生模型训练的教师模型输出数据，通过数据增强合成并优化了具有推导过程的思维链语料（如多步骤推理的CoT语料等），再对学生模型进行微调。该技术利用了推理模型的特点，将教师模型在推理任务中学习到的思维方式通过蒸馏传输给学生模型，使学生模型具备相似的推理能力，从“知识迁移”演进为“能力转移”。利用这种蒸馏方式，模仿教师模型的输入到输出的映射关系，小参数的学生模型也能获得非常高的推理能力。知识蒸馏的核心目标是实现从教师模型到学生模型的知识迁移。

另外，在使用 CPU 推理时，由于 SIMD 指令集对 8-bit 整数的点积运算有原生支持，更重要的是我们发现 Q4 的思维链平均长度比 Q8 长了 45%，也就是说多输出了 45% 的无效 Token，所以虽然 Q4 生成 Token 速度较快，但完成任务甚至会更慢。DeepSeek-R1 是一种高稀疏度的 MoE（Mixture of Experts）模型，其总参数量高达 671B，但实际推理时采用“按需激活”机制：每层包含 256 个专家（Expert），每次仅激活其中的 8 个专家。

DeepSeek-V3和DeepSeek-R1显著有效性和效率的核心技术:对MOE架构的改进——特别是多头潜在注意力（MLA）和专家混合（MoE）；多Token预测；算法、框架和硬件的联合设计；组相对策略优化（GRPO）强化学习算法；以及训练后技术:如纯强化学习和多阶段迭代训练，该训练在监督微调（SFT）和强化学习之间交替进行。KV缓存是一种在变压器的多头注意力（MHA）块中使用的技术，通过存储中间键和值来加速推理，避免了重复计算。实际上，KV缓存成为长上下文大型语言模型（LLMs）的瓶颈，因为它们的高内存

这个模块的核心功能是通过自然语言处理技术从文本中提取名词短语，构建名词图，并计算节点之间的关系强度。它使用了并行处理和缓存机制来提高性能，并提供了边权重标准化的选项。我首先测试了LazyGraphRAG利用本地ollama提供Embedding model服务和火山引擎的deepseek API构建本地知识库。网上很多教程都是很老的，说利用ollama需要改源码，目前的版本是不需要改任何源码的，直接设置好配置文件即可。主要原因deepseek-V3也不是很友好啊，我没钱prompt 微调啊，晕死。

R1-Onevision：跨模态形式化驱动的多模态推理技术突破,R1-Onevision通过跨模态形式化、双阶段训练和教育级基准测试，为多模态推理树立了新标杆。其技术创新不仅提升了模型在复杂任务中的表现，更重要的是为行业提供了一种可解释、可迁移的多模态处理范式。随着形式化方法的不断完善和硬件性能的持续提升，我们有理由期待多模态AI在教育、医疗、工业等领域实现更广泛的落地应用。R1-Onevision：结合形式语言和基于规则的强化学习打造的具有推理能力的多模态开源大型语言模型我们针对其报告进行了一个总结

这个构建的示例展示了一种可以应用于许多场景的基本模式。• 医疗研究论文：其中理解研究类型、关键医学术语和核心发现至关重要；• 法律文件：其中识别相关方、关键条款和整体影响是必不可少的；• 财务报告：其中理解报告类型、关键指标和主要结论驱动决策。

MoC框架通过双重评估指标+混合分块架构分块即语义建模：需联合优化局部相似性与全局结构。轻量化设计：通过规则引导与模型稀疏化，平衡性能与资源消耗。评估先行：直接指标（BC/CS）可加速迭代，减少对下游任务的依赖。论文代码：未开源，但可通过Langchain自定义NodeParser复现核心逻辑（参考附录A.1）。延伸阅读：推荐研究LumberChunker的LLM指令微调策略及SemanticSplitter的阈值优化方法。

大型语言模型（LLMs）在开放领域任务中表现出色，结合上下文学习和微调的方法，通过简单的领域自适应提示显著提高了LLMs在新领域的知识获取和开放式推理能力。实验结果表明，CFT在医疗和金融领域的基准测试中均优于传统的持续预训练和指令微调方法。​：CFT通过上下文提示提供额外的语义信息，帮助模型更好地理解和学习新领域的知识，从而提高了学习效率。实验表明，CFT模型在训练过程中损失更低，收敛速度更快。​：CFT在多个医疗和财务基准测试中均表现出优于CPT和IFT的性能。

强化学习驱动检索：首次将RL应用于LLM与搜索引擎的多轮交互，突破传统监督学习限制。轻量化奖励设计：仅用结果奖励即可引导模型学习复杂检索策略。结构化生成框架：通过标记控制生成流程，兼容不同RL算法。

增加模型的视觉理解能力，扩展语言覆盖范围，支持长达128K个token的上下文，并通过知识蒸馏提高模型的数学、聊天、指令遵循和多语言能力。Gemma 3 提供 1B(32K)、4B、12B 和 27B 参数大小，在问答、总结和推理等任务中表现出色，其紧凑的设计使其可以在资源有限的设备上部署。尽管如此，模型的记忆和隐私风险仍然需要持续关注和改进。：Gemma的技术演进经历了多个阶段，从最初的Gemma 1到最新的Gemma 3，每一次迭代都在模型架构、多模态能力和长上下文处理等方面取得了显著进展。

提取、转换和加载（ETL）流程是现代数据管道的核心，它帮助组织迁移和处理大量数据，用于分析、AI 应用和商业智能（BI）。传统的 ETL 明确基于规则，需要大量手动配置来处理不同的数据格式。然而，随着大型语言模型（LLMs）的最新趋势，我们开始看到变革性的 AI 驱动 ETL 用于数据提取和集成。

两阶段强化学习（RL）为了通过探索外部检索环境来激励大语言模型的搜索能力，设计了一种基于结果的两阶段强化学习方法，通过定制的奖励设计，使模型能够在推理过程中自由探索如何调用外部检索系统以获取相关知识。具体来说，在第一阶段，我们采用检索奖励来激励模型进行检索操作，而不考虑最终答案的准确性。这样，大语言模型可以快速学习正确的检索调用格式。在第二阶段，我们进一步引入答案奖励，以鼓励模型学习有效地利用外部检索系统正确解决问题。

在当前工业设备制造和应用领域中，设备的安全高效稳定运行对于企业的生产效率和经济效益均至关重要。设备故障诊断技术发展迅速，经历了“人工诊断”阶段、“小模型诊断”阶段，而大模型的到来开启了设备故障诊断的新时代--“大模型智能诊断”阶段，为设备故障诊断和维护带来了革命性的变革。

40多张图带你探索推理大模型、测试时计算，并深入研究 DeepSeek-R1

KidneyTalk-open作为第一个无代码的私有大型语言模型系统，成功实现了医学知识管理和智能推理的本地集成。通过创新性地结合开源LLM部署框架、语义知识数据库构建和多代理检索增强技术，解决了医学LLMs应用中的三个关键挑战。实验结果和在实际病例中的应用比较表明，该系统在肾脏疾病诊断和治疗等专业场景中表现出卓越的医学本地化能力和基于证据的推理质量。这一进展为促进智能医疗的包容性发展提供了新的工具。