大模型与Agent智能体

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行，欢迎关注访问！

原创 2025年重磅喜讯！热烈祝贺Gavin大咖大模型领域经典著作《Transformer& Rasa 解密原理、源码及案例》北京航空航天大学出版社发行上市!

自2016年3月，阿尔法狗战胜人类围棋高手以来，人工智能技术取得了空前的成就，引领着人类社会进入了一个全新的时代。2017年7月，国务院正式发布了《新一代人工智能发展规划》，将人工智能发展明确为国家战略，为我国在这一领域的发展指明了方向。2023年2月，国务院发布了《数字中国建设整体布局规划》，提出到2025年，我们将基本形成横向打通、纵向贯通、协调有力的一体化推进格局，数字中国建设取得重要进展。到2035年，我们的数字化发展水平将进入世界前列，数字中国建设取得重大成就。

2025-01-26 19:00:00 1736 7

原创 2024年重磅喜讯！热烈祝贺Gavin大咖大模型领域经典著作《Transformer&ChatGPT解密：原理、源码及案例》北京航空航天大学出版社发行上市!

2024年重磅喜讯！热烈祝贺Gavin大咖大模型领域经典著作《Transformer&ChatGPT解密：原理、源码及案例》北京航空航天大学出版社发行上市!

2024-06-09 10:42:22 500 4

原创 2020年重磅喜讯！热烈祝贺王家林大咖人工智能及大数据领域经典著作《Apache Spark+AI全息代码解密》清华大学出版社发行上市!

2020年重磅喜讯！热烈祝贺王家林大咖人工智能及大数据领域经典著作《Apache Spark+AI全息代码解密》清华大学出版社发行上市!目录全息代码解密编辑推荐内容简介作者简介本书目录前言新书链接全息代码解密Apache Spark+AI全息代码解密（京东套装共2册）你需要的Apache Spark和AI技能都在这里！全程案例驱动无痛学习，动手创造自己AI框架，解密Alluxio, 抽丝剥茧学习Spark内核所有关键源码及实践优化的一切秘密https://item.jd.com/1302908

2020-12-12 09:52:10 1466 8

原创 2020年重磅喜讯！热烈祝贺王家林大咖人工智能领域经典著作《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》清华大学出版社发行上市!

2020年重磅喜讯！热烈祝贺王家林大咖人工智能领域经典著作《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》清华大学出版社发行上市!目录大咖心声新书图片内容简介作者简介目录前言/序言新书案例案例一：自研盘古人工智能框架案例二：基于Pytorch的自然语言处理模型(BERT)的应用案例案例三：人力资源主管正确评估新招聘员工薪水的案例案例四：基于Alluxio+Pytorch的深度学习案例案例五：Spark+AI实战案例新书网购链接新书资讯大咖心声数据象征空间AI代理时间

2020-10-31 08:54:56 2671 2

原创 2020年重磅喜讯！热烈祝贺王家林大咖大数据经典传奇著作《Spark大数据商业实战三部曲》畅销书籍第二版清华大学出版社发行上市! 前浪致 Spark + AI 后浪

王家林大咖清华大学新书Spark第二版已上市：致 Spark + AI 初学者前言新书介绍编辑推荐内容简介作者简介精彩章节新书目录第二版前言第一版前言Spark+AI学习路径献给Spark+AI的“后浪”新书案例讲解第二版网购链接新书资讯前言欢迎来到清华大学出版社《Spark 大数据商业实战三部曲：内核解密|商业案例|性能调优（第2 版）》新书博客！关注到Spark新书发布的每一位同学，应该是学习了很多大数据的基础知识，学习了很多人工智能的技术资料，正在寻求进一步的自我成长。在学习过程中，一定是遇到了很

2020-05-25 11:08:23 2055 1

原创 2020年重磅喜讯！热烈祝贺王家林大咖大数据经典传奇著作《Spark大数据商业实战三部曲》畅销书籍第二版清华大学出版社发行上市!

《Spark大数据商业实战三部曲》第二版购书链接：https://item.jd.com/12864870.html

2020-05-22 16:27:07 1371 3

原创 2018年新春报喜！热烈祝贺王家林大咖大数据经典传奇著作《SPARK大数据商业实战三部曲》畅销书籍清华大学出版社发行上市!

2018年新春报喜！热烈祝贺王家林大咖大数据经典传奇著作《SPARK大数据商业实战三部曲》畅销书籍清华大学出版社发行上市!本书基于Spark 2.2.0新版本，以Spark商业案例实战和Spark在生产环境下几乎所有类型的性能调优为核心，以Spark内核解密为基石，分为上篇、中篇、下篇，对企业生产环境下的Spark商业案例与性能调优抽丝剥茧地进行剖析。上篇基于Spark源码，从一个动手...

2018-02-13 19:47:15 7367 3

原创 8位量化简介（40）

8位量化通过将大部分权重和输入转换为8位整数来压缩模型大小，同时利用16位处理异常值以保持性能。LLM.int8()方法通过分离异常值，在8位和16位混合计算后合并结果。典型配置使用默认阈值6.0检测异常值，量化后模型大小可缩减至原模型的1/4左右。不过，量化仅应用于主要线性层，其他层默认为16位浮点数而非32位。这种技术显著降低了大型语言模型的内存需求，使其更易于部署。

2025-08-15 19:00:00 24

原创解决量化模型中的 NaN 问题：为何非量化层应选用 FP32？（41）

文章摘要：本文探讨了量化模型中的数据类型选择问题。研究表明，8位量化层与FP16非量化层搭配会导致数值不稳定（出现NaN），而将非量化层转为FP32可解决该问题。实验显示，使用torch.float32的模型虽然内存占用增加（415MB vs 359MB），但能输出正常的损失值。文中还指出，PEFT包的prepare_model_for_kbit_training()函数同样能实现非量化层转为FP32的效果，确保训练稳定性。建议在加载量化模型时主动指定torch_dtype参数为torch.float32

2025-08-15 19:00:00 162

原创量化线性层(42)

本文展示了如何对Transformer模型中的线性层进行8位量化。通过检查OPTDecoderLayer可以看到，原有的线性层(如k_proj、v_proj等)已被替换为Linear8bitLt量化版本。量化后的权重以int8形式存储，而偏置保持为float16。文中指出，除了线性层外，等价的Conv1D层也会被量化，但具有权重共享的层会被自动跳过量化过程。这些量化操作能有效减少模型存储需求和计算开销，同时保持模型性能。

2025-08-15 19:00:00 163

原创在FP32输入上计算前向传播需要多长时间？FP16模型的实例与之前的模型相比，它快了多少？

摘要：实验比较了不同精度模型在GPU上的计算性能。使用PyTorch实现的两层全连接模型测试显示：纯FP16模型(248μs)比FP32模型(1.41ms)快5倍多。通过autocast上下文管理器实现混合精度计算时，FP32模型在FP16环境下运行仅需277μs，性能接近纯FP16模型，证明混合精度能有效提升计算速度而无需手动转换数据类型。实验在NVIDIA GPU上完成，展示了混合精度训练的实际优势。

2025-08-14 19:00:00 449

原创纯半精度模型和全精度模型的耗时分别为248微秒和1400微秒。混合精度模型371微秒比原始模型快大约四倍！

摘要：本文介绍了混合精度训练的实现机制。通过torch.autocast上下文管理器将FP32模型的forward方法包装两次：第一次生成FP16输出提升计算速度，第二次将输出转换回FP32。Hugging Face的trainer类简化了这一过程，只需设置fp16/bf16参数。实验显示，经过包装的混合精度模型比全精度模型快约4倍（371μs vs 1400μs），同时保持FP32输出精度。这种技术在不损失精度的情况下显著提升了训练效率。

2025-08-14 19:00:00 134

原创 BitsAndBytes 是 quantization（量化）任务的首选工具

摘要：BitsAndBytes是一个强大的量化工具包，可显著降低大型语言模型的内存消耗。通过PyTorch集成，它支持8位和4位量化，分别减少模型大小至1/4和1/8。核心功能包括8位优化器、LLM.Int()推理技术和QLoRA训练技术。配置通过BitsAndBytesConfig实现，可调整量化类型、计算精度等参数。8位量化适合一般场景，4位量化更节省内存但需权衡精度。工具与Hugging Face生态无缝集成，是资源受限环境下部署LLM的理想选择。（149字）

2025-08-14 19:00:00 207

原创半精度模型（16位）解析

摘要：本文介绍了使用半精度模型（FP16/BF16）来优化深度学习模型内存占用的方法。通过PyTorch的torch_dtype参数可直接加载半精度模型，使350M参数模型仅占662MB内存。文章比较了FP32、FP16和BF16的差异，并提供了检测GPU支持BF16的方法。虽然半精度计算速度更快，但可能导致数值不稳定和轻微性能下降。最后提出了混合精度计算的优化方向，以兼顾计算效率和数值稳定性。

2025-08-12 19:00:00 227

原创混合精度加快前向传播的速度

混合精度计算通过结合16位和32位运算，在保持数值精度的同时提升计算速度。关键策略包括：使用torch.bfloat16（若GPU支持），加载模型时明确指定数据类型，以及在计算过程中动态转换精度。典型流程是：保持权重为FP32，计算时转为FP16/BF16，最后将结果转回FP32。这种方法不减少内存占用，但能显著加速前向传播。实验表明，相较于全FP32，混合精度能有效平衡速度和精度。

2025-08-12 19:00:00 129

原创 FP32、BF16、FP16三种方式比较

摘要：比较了三种浮点格式的特性：FP32兼具高精度和范围但占用空间大；FP16空间减半但范围受限；BF16牺牲部分精度换取更大范围。实验显示BF16的数值范围与FP32接近（3.4e+38），远超FP16（6.6e+4），但精度损失更明显（小数第3位即出现偏差）。三种格式在深度学习中各具优势，BF16尤其适合需要大数值范围的应用场景。

2025-08-11 19:00:00 203

原创加载模型使用torch_dtype参数来显式指定数据类型

本文介绍了模型加载和量化技术的基本原理。实验使用Facebook的opt-350m模型(约1.4GB)展示不同精度配置：模型默认加载为FP32(1324MB内存)，而预训练权重实际以FP16格式存储(662MB)。通过显式指定torch_dtype参数可控制精度，FP32模型计算损失值为3.8001。文中还演示了如何加载模型权重、处理输入数据，并指出半精度和量化模型将是后续对比重点。这些技术能在保持模型性能的同时显著减少内存占用。

2025-08-11 19:00:00 105

原创 GPT-5 is here

OpenAI has launched GPT-5, its most advanced AI model yet. Ranking #1 in Text, WebDev, Vision Arena, and excelling in coding, math, creativity, and complex queries, GPT-5 sets a new benchmark. Codenamed "summit," it combines speed and deep reason

2025-08-08 19:00:00 366

原创 GPT-5 不仅是版本升级，它标志着推理能力的商业化和 Agent操作系统的崛起，开启了 AI革命时代。

AI革命新纪元：GPT-5开启商业化推理与智能操作系统时代 GPT-5的发布标志着AI从工具向智能操作系统的转变。其核心突破在于：1）商业化推理能力，可自主解决复杂任务；2）Agent操作系统，使AI成为决策执行中枢；3）跨领域应用，推动全行业智能化升级。GPT-5不再仅是文本生成工具，而是能自主运行、执行任务的AI操作系统，预示着AI OS规模化商业落地的时代正式到来。

2025-08-08 19:00:00 285

原创 OpenAI GPT-OSS is here: 120B reasoning model, fully open-source, fine-tunable, agent-native.

OpenAI发布完全开源的GPT-OSS系列大模型，包含200亿和1200亿参数两个版本。核心特性包括：完整思维链推理路径展示、支持全量微调适配不同任务、原生智能体能力（支持函数调用、网页浏览等）。采用Apache 2.0开源协议，允许商业及闭源使用。模型已发布在HuggingFace平台，并提供详细技术文档。

2025-08-08 19:00:00 193

原创 OpenAI 开源 GPT-OSS：1200亿参数推理模型上线，完全免费、商用可用，全民可控智能体时代正式开启！

OpenAI发布开源GPT-OSS模型，开启全民智能时代。这一1200亿参数的推理模型具备原生Agent能力，支持函数调用、网页浏览等复杂任务，专为强推理设计。完全开源采用Apache 2.0协议，可免费商用及本地部署，无需依赖API。模型提供多轮思考、工具调用等高级功能，是开发智能体的理想选择。现已开放模型仓库和说明文档，标志着强推理能力向公众全面开放，为开发者构建可控AI系统提供了前所未有的机遇。

2025-08-08 19:00:00 313

原创两个函数 quantize() 和 dequantize() 可用于对不同的位数进行量化实验

摘要：本文介绍了基于PyTorch的权重量化方法，比较了不同比特数(2/4/8/16位)量化的效果。量化函数将权重均匀分箱，反量化时重建近似值。实验显示16位量化效果最佳(RMSE=0.0001)，但直接使用FP16半精度浮点可能是更好的选择。文中指出该方法假设数值分布均匀，而实际应用中需考虑非对称范围和动态分箱等复杂情况。文末附有量化配置选项示意图，但未展开详细说明。

2025-08-08 19:00:00 30

原创半精度权重及 Phi-3线性层的权重分布

本文介绍了深度学习权重转换技术，展示了将FP32权重转换为FP16半精度的方法，并比较了转换前后的数值差异。实验表明FP16转换保持了较高的精度（RMSE仅1.42e-5）。同时分析了Phi-3模型线性层的权重分布特性，指出其权重集中在狭窄范围内但存在异常值。最后配图展示了某大事件（2025.8.8）的相关图片，但未提供具体说明。全文涵盖了深度学习模型权重优化和量化的重要技术细节。

2025-08-08 19:00:00 35

原创大模型量化上溢及下溢解析

摘要本文探讨了FP16浮点数在边缘数值情况下的局限性。当数值接近FP16表示范围的边界时，会出现显著问题：极小值可能导致下溢归零（如2.47e-8被表示为0），而极大值（>65504）则会溢出为无穷大。FP16的常规最小值是6.1e-5，但通过次常规数可表示更小值（最小约5.96e-8）。这些特性说明FP16在数值计算中需要谨慎处理边界情况，以避免精度损失或溢出错误。

2025-08-08 19:00:00 29

原创 BF16 脑浮点数

摘要：本文探讨了FP16和BF16两种16位浮点数的特性差异。FP16的最小"次常规"数为5.960464477539063e-08，但其有限范围可能导致数值稳定性问题。作为替代方案，BF16（脑浮点数）通过牺牲部分精度换取更宽的数值范围，解决了FP16的下溢和上溢问题。文章通过三个例子说明：数值大小与精度无关，更大的指数范围比更高的精度在某些场景下更有价值。BF16特别适合需要处理极值范围的深度学习应用。（149字）

2025-08-08 19:00:00 26

原创大模型量化原理解析

本文介绍了大型语言模型量化技术的基本原理。量化通过将32位浮点数(FP32)转换为4位数(NF4)，可将模型内存占用减少约1/8。核心方法是"分箱"：首先确定权重数值范围（通常以零为中心且范围狭窄），然后将其均分为若干区间（如4个），每个权重根据数值被分配到对应区间的索引。分箱数量越少内存占用越小，但精度损失越大。实验显示，模型权重因训练过程特性而呈现适合量化的分布特征。这种方法在保持模型性能的同时显著降低了存储需求。

2025-08-07 19:00:00 43

原创大模型2位量化原理解析

本文介绍了使用Python实现2位量化技术的方法。通过将权重值分入4个区间（对应2位二进制表示），我们成功将FP32张量进行了量化处理。具体过程包括：计算各权重对应的区间索引，将连续值转换为离散的区间编号（0-3）。虽然量化过程会损失精度，只能得到原始值的近似表示，但这种方法能有效减少存储空间。示例代码展示了量化前后的数值对比，直观呈现了量化效果。该技术利用2的幂次方特性，通过4个区间实现了2位量化，为后续处理提供了基础。

2025-08-07 19:00:00 163

原创大模型量化解析

本文介绍了一种简单的区间量化方法，使用区间起始值作为代表值。通过将区间索引乘以区间宽度并加上第一个区间值，可以近似还原原始数据。实验显示，这种2位量化方法虽然粗糙，但能有效展示量化概念。量化值与原始值的均方根误差为0.0615，表明该方法在低精度下仍保持一定准确性。实际应用中通常使用8位或4位量化以获得更好的精度。这种方法为理解量化技术提供了基础示例。

2025-08-07 12:46:47 30

原创监督微调-指令微调-偏好微调

本文介绍了三种针对大型语言模型的微调方法：1）有监督微调，用于典型分类任务，但可能大材小用；2）指令微调，使模型学会遵循指令和回答问题，减轻用户表述负担；3）偏好微调，通过RLHF等技术使模型响应符合安全规范。作者指出，基础模型通常已经过指令微调，用户可直接使用而无需自行训练。不同微调方法适用于不同场景，从基础分类到复杂指令执行和安全合规。

2025-08-06 19:15:00 419

原创加载量化模型

本文介绍了模型量化的基本原理与应用。主要内容包括：1) 解释不同数据类型(FP16/FP32等)的比特大小与内存占用关系；2) 介绍量化如何通过降低参数精度(如8位/4位)来减少模型内存占用；3) 展示量化计算公式，说明参数数量与内存占用的转换方法；4) 演示使用BitsAndBytes工具进行模型量化的代码实现。量化能在保持模型功能的同时显著减小模型体积(可缩小至原1/4或1/8)，但精度降低可能影响性能，适用于资源受限场景。文中提供了量化前后的内存占用对比示例。

2025-08-06 19:15:00 153

原创 Flash Attention与SDPA

摘要：Transformer模型通过投影嵌入自主学习标记的不同表示形式，但其注意力机制存在内存瓶颈。随着序列长度增加，注意力分数呈二次方增长，导致训练和长序列处理困难。Flash Attention和SDPA等优化技术通过线性内存需求缓解了这一问题。文章还探讨了自监督微调，即通过输入数据自身结构进行模型训练，使其适应特定领域或风格。例如，在数学或时尚领域微调的模型会对相同提示给出领域相关的不同回答。这些方法为模型定制提供了灵活途径，但也凸显了计算资源的重要性。

2025-08-06 19:00:00 44

原创超越注意力机制

摘要： Transformer架构的核心价值不仅在于注意力机制，层归一化和前馈网络(FFN)同样至关重要。层归一化(包括RMSNorm变体)能稳定模型训练，被保持在最高精度；而FFN结构对模型性能的影响可能超过注意力层。实验表明，移除多个注意力子层对性能影响有限，但移除FFN会导致显著性能下降，凸显了这些"辅助组件"的关键作用。最新模型如Phi-3都采用了这些优化设计。

2025-08-05 19:15:00 35

原创编码器模型和解码器模型解析

本文介绍了两种主要的Transformer架构模型：仅编码器模型（如BERT）和仅解码器模型（如GPT）。BERT通过双向编码生成高质量的上下文词嵌入，适用于文本分类任务。而GPT系列模型通过预测下一个token来生成文本，早期版本功能有限，但随着模型规模的扩大和指令微调的应用，它们展现出接近人类水平的文本生成能力，最终演变为广为人知的大语言模型（LLM）。这些模型的核心工作机制都依赖于注意力机制来实现对语言结构的理解和生成。

2025-08-05 19:15:00 41

原创注意力就是你所需要的一切

摘要：注意力机制是自然语言处理领域的革命性突破，其核心思想是让模型自主决定关注输入内容的哪些部分。该机制通过查询向量(Q)、键向量(K)和值向量(V)的交互实现，利用余弦相似度计算对齐分数，最终生成上下文向量。以英法翻译为例，注意力机制能帮助模型理解词语间关系（如冠词与名词的性数配合），实现更准确的翻译。这种源于键值存储的机制，通过softmax加权处理，使模型能够灵活捕捉输入序列中的重要信息。

2025-08-05 19:15:00 245

原创注意力机制解析

本文介绍了注意力机制中查询向量(Q)、键向量(K)和值向量(V)的工作原理。首先通过查询向量与键向量的点积计算相似度，经softmax处理后得到注意力分数，再用这些分数加权求和值向量得到上下文向量。文中通过代码示例展示了如何从标记嵌入生成三种投影向量，并完成注意力计算过程。虽然这种方法简单有效，但仍存在性能瓶颈问题。整个机制的核心在于让模型自主学习标记嵌入和三种投影方式。

2025-08-05 19:15:00 431

原创 Transformer模型

摘要：2018年，Transformer架构在《Attention Is All You Need》论文中被提出，标志着NLP领域的重要突破。该架构由编码器和解码器组成，通过注意力机制和前馈网络实现语言处理任务。最初的6层结构后来扩展到32-48层，每层包含残差连接和归一化操作。Transformer凭借其卓越性能迅速主导NLP领域，并衍生出纯编码器和纯解码器变体模型，彻底改变了自然语言处理的发展方向。（149字）

2025-08-04 19:30:00 36

原创大模型适配器上传Hugging Face Hub

本文介绍了如何对微软Phi-3 Mini 4K Instruct模型进行微调，实现英语到尤达语转换。首先通过BitsAndBytes加载量化模型，配置LoRA适配器；然后加载并格式化数据集，使用SFTTrainer进行微调训练；训练完成后可保存适配器到本地或上传至Hugging Face Hub分享。整个过程重点关注量化模型的使用方法、适配器配置和训练流程，最终得到一个仅50MB大小的适配器模型，可完成特定风格的文本转换任务。

2025-08-04 19:15:00 41

原创简要探讨大型语言模型（LLMs）的发展历史

本文探讨了大型语言模型(LLMs)的发展现状与挑战。文章指出，语言模型规模已从1亿参数(BERT)激增至4000亿参数(Llama)，但硬件发展滞后，需依赖GPU集群训练。训练数据需求也跃升至万亿标记级别，仅大型科技公司能承担。普通开发者只能通过微调预训练模型来应用LLMs，但需注意商业使用许可问题。文章强调，在投入资源前必须确认模型许可条款，并指出迁移学习在NLP领域的普及改变了模型应用方式。

2025-08-04 19:15:00 158

原创第一个大语言模型的微调

本文介绍了如何微调大语言模型生成尤达大师风格的对话。通过构建特定格式的消息列表，并使用add_generation_prompt参数添加助手指令标记，模型能够按照尤达的语序特点生成回复。文章提供了完整的代码实现，包括提示词生成函数gen_prompt和文本生成函数generate，最终成功将Phi-3 Mini模型微调为尤达语翻译器，实现了如"Strong in you, the Force is"这样符合角色特点的输出。

2025-08-01 19:30:00 365

原创 SFT 训练器

本文介绍了如何使用SFTTrainer进行监督微调训练。通过创建训练器实例并加载数据集，可以观察到模型自动为输入数据生成相同的标签，实现自监督微调。该方法支持标签偏移自动处理，并能在低配置设备（如6GB显存的GTX 1060显卡）上高效运行，8个小批量的38亿参数模型训练仅需35分钟完成。整个过程展示了从数据预处理到模型训练的实际操作流程。

2025-08-01 19:15:00 48