- 博客(105)
- 收藏
- 关注
RSS订阅原创 Transformer输入部分实现
本文介绍了Transformer模型中的文本嵌入层和位置编码器。文本嵌入层(Embeddings)将词汇的数字表示转换为向量表示，通过nn.Embedding实现，并乘以√d_model进行缩放。位置编码器(PositionalEncoding)为词嵌入添加位置信息，使用正弦和余弦函数生成位置编码矩阵，与词嵌入相加后通过Dropout层处理。两者共同作用：文本嵌入层捕捉词汇语义关系，位置编码器补充序列位置信息，为Transformer后续处理提供包含语义和位置信息的输入表示。
2025-07-23 23:00:33
1099
原创 认识Transformer架构
本文介绍了Transformer模型架构及其在NLP领域的应用。作为基于seq2seq的模型，Transformer可完成机器翻译、文本生成等任务，并能构建预训练语言模型。文章详细解析了其总体架构：输入部分（文本嵌入层和位置编码器）、输出部分（线性层和softmax层）、编码器部分（N个堆叠层，含自注意力子层和前馈子层）以及解码器部分（N个堆叠层，含三个子层连接结构）。该架构通过多头注意力和残差连接等机制实现高效特征提取，为后续Transformer系列模型的深入理解奠定基础。
2025-07-23 22:01:50
347
原创 注意力机制介绍
注意⼒机制是注意⼒计算规则能够应⽤的深度学习⽹络的载体, 同时包括⼀些必要的全连接层以及相关 张量处理, 使其与应⽤⽹络融为⼀体. 使⽤⾃注意⼒计算规则的注意⼒机制称为⾃注意⼒机制.说明: NLP领域中, 当前的注意⼒机制⼤多数应⽤于seq2seq架构, 即编码器和解码器模型.
2025-07-22 23:35:27
675
原创 GRU模型
GRU（门控循环单元）是RNN的改进结构，通过更新门和重置门机制有效捕捉长序列关联，缓解梯度问题。相比LSTM，GRU结构更简单但性能相当。其核心是通过门控机制选择性地传递信息：重置门控制历史信息的利用，更新门决定新旧信息的组合。PyTorch中可用nn.GRU模块实现，需设置输入/隐层维度等参数。优势是计算复杂度低于LSTM，但仍存在RNN固有的梯度消失和无法并行计算问题。Bi-GRU采用双向结构增强特征提取能力。GRU适用于序列建模任务，但在大规模数据场景面临计算效率瓶颈。
2025-07-22 23:23:42
950
原创 LSTM模型
LSTM是一种改进的RNN结构，能有效捕捉长序列语义关联并缓解梯度消失问题。其核心由遗忘门、输入门、细胞状态和输出门四部分组成，通过门控机制选择性记忆和遗忘信息。Bi-LSTM通过双向处理增强语义特征提取但会增加计算复杂度。PyTorch中可通过nn.LSTM模块实现，需设置输入/隐藏层维度等参数。LSTM虽改善了长序列处理能力，但训练效率低于传统RNN。本文详细解析了LSTM结构原理和PyTorch实现方法。
2025-07-22 22:51:11
1004
原创 传统RNN模型
本文介绍了传统RNN模型的结构、PyTorch实现及优缺点。RNN通过将当前输入x(t)和上一步隐层输出h(t-1)拼接后经全连接层和tanh激活函数处理，得到当前输出h(t)。PyTorch中通过nn.RNN类实现，需指定输入/隐藏层维度等参数。传统RNN结构简单、计算量小，在短序列任务表现良好，但存在长序列训练时的梯度消失/爆炸问题，这是由反向传播时梯度连乘导致的。文中通过代码示例展示了RNN的基本用法，并解释了梯度问题的成因及危害。
2025-07-22 22:31:18
1030
原创 认识RNN模型
本文介绍了循环神经网络(RNN)的基本概念、工作原理和应用领域。RNN是一种能够处理序列数据的神经网络，通过循环机制保留上一步的隐层状态来捕捉序列特征。文章详细分析了RNN的工作原理，并以用户意图识别为例说明处理过程。同时从输入输出结构和内部构造两个维度对RNN进行分类，包括NvsN、Nvs1、1vsN、NvsM等结构类型，以及LSTM、GRU等变体。RNN广泛应用于机器翻译、文本分类等NLP任务，其中seq2seq架构因其灵活性成为最常用的模型结构。
2025-07-22 01:21:59
913
原创 文本数据分析
本文介绍了文本数据分析的基本方法和应用。通过中文酒店评论数据集，展示了标签数量分布、句子长度分布、词频统计等分析方法。使用Python工具包对训练集和验证集进行可视化分析，发现数据存在轻微不均衡和异常点。文章详细说明了获取句子长度散点分布、正负样本比较以及词汇统计的具体实现步骤，并强调了文本分析对模型参数选择和异常检测的指导作用。最终总结了几种常用文本分析方法的实际应用价值。
2025-07-21 16:05:39
590
原创 文本张量的表示方法
本文介绍了文本张量表示的三种主要方法及其实现。重点分析了one-hot编码、Word2Vec和词嵌入(WordEmbedding)三种技术：one-hot编码简单直观但无法表达词义关系；Word2Vec通过CBOW和SkipGram两种无监督训练模式生成稠密向量；词嵌入则是神经网络训练过程中产生的参数矩阵。文章详细阐述了Word2Vec的实现流程，包括数据准备、模型训练、超参数调优等步骤，并通过FastText工具展示了具体应用。最后对比了各方法的优缺点，建议根据实际需求选择合适的技术方案，同时指出中文处理
2025-07-20 00:41:59
600
原创 案例-价格分类
本文介绍了一个基于深度学习的手机价格分类案例。通过分析手机硬件参数（如RAM等）预测价格范围（0-3四个等级）。作者使用PyTorch构建了一个五层全连接神经网络（输入层20维，输出层4维），采用Sigmoid激活函数和交叉熵损失函数。实验表明，初始模型在测试集上准确率为51%，通过数据标准化、优化算法调整（SGD改为Adam）、学习率优化（1e-3至1e-4）和网络结构加深（5层）等改进后，准确率提升至97.5%。文章提供了完整的代码实现，包括数据预处理、模型构建、训练和评估流程，适合作为深度学习分类任务
2025-07-18 01:25:17
643
原创 批量归⼀化
本文介绍了神经网络中的批量归一化(Batch Normalization)技术。该技术通过对每个minibatch数据进行标准化处理，使数据分布保持稳定，从而加快模型收敛速度。文章详细阐述了BN层的计算公式、参数含义及其在PyTorch中的接口实现，重点说明了BN层如何通过移动加权平均来近似计算整体均值和方差。BN层能有效防止训练过程中的数据分布剧烈波动，在计算机视觉领域应用广泛，通常与卷积神经网络结合使用。
2025-07-17 17:18:55
236
原创 深度学习之正则化
摘要：Dropout是神经网络中缓解过拟合的有效方法，通过随机丢弃部分神经元连接（按概率p置0）来降低网络复杂度。实现时需对保留的神经元进行缩放（缩放因子1/(1-p)）以补偿信息损失。实验显示，Dropout会使得部分参数的梯度变为0，从而阻止这些参数的更新。该方法类似于L2正则化，能有效控制网络复杂度，在实际应用中常被采用。
2025-07-17 15:43:28
628
原创 深度学习之优化方法
本文介绍了梯度下降算法的优化方法，包括Momentum、AdaGrad、RMSProp和Adam。其中，Momentum通过指数加权平均历史梯度加速收敛，克服鞍点和平缓区域问题；AdaGrad自适应调整不同参数的学习率，但可能过早降低学习率；RMSProp改进AdaGrad的梯度累积方式；Adam结合Momentum和RMSProp的优点，同时考虑历史梯度并自适应调整学习率。实验表明，β参数影响指数加权平均的平滑程度，Adam等优化方法能有效提升神经网络训练效果。这些方法通过不同策略改进了传统梯度下降的局限
2025-07-17 14:42:51
761
原创 参数初始化
本文介绍了神经网络参数初始化的常用方法及其PyTorch实现。重点讲解了权重初始化的几种方式：均匀分布初始化（在(-1/√d,1/√d)区间）、正态分布初始化（均值为0，标准差为1）、全0/全1初始化、固定值初始化，以及Kaiming（HE）和Xavier（Glorot）两种高级初始化方法。通过PyTorch代码示例展示了如何使用nn.init模块实现这些初始化方式，包括uniform_、constant_、zeros_、ones_、normal_、kaiming_normal_、kaiming_unifo
2025-07-17 14:18:48
129
原创 深度学习之反向传播
摘要：本文介绍了神经网络中的反向传播算法（BP），它是一种通过梯度下降和链式法则训练多层网络的强大方法。首先回顾了梯度下降算法的原理及参数更新过程，区分了Epoch、Batch和Iteration的概念。随后详细阐述了前向传播和反向传播的机制，重点讲解了如何利用链式法则计算复合函数的导数来更新权重参数。通过代码示例展示了正向传播、误差计算和反向传播的实现过程。BP算法是神经网络训练的核心，能够有效计算各层参数的梯度并优化网络性能。
2025-07-16 22:53:19
1271
原创 深度学习之激活函数
本文介绍了神经网络中激活函数的作用及常见类型。激活函数为网络引入非线性因素，使其能够拟合复杂曲线，若缺失则退化为线性模型。重点分析了三种常用激活函数：Sigmoid（适用于二分类输出层，存在梯度消失问题）、Tanh（收敛快但仍有梯度消失）和ReLU（最常用，计算高效但可能出现神经元死亡）。此外还介绍了多分类使用的Softmax函数。文章建议隐藏层优先选用ReLU，输出层根据任务类型选择对应函数（Sigmoid/Softmax/线性），并提供了PyTorch实现示例。不同激活函数的选择直接影响神经网络的学习效
2025-07-16 14:11:11
1137
原创 深度学习和神经网络的介绍
本文介绍了深度学习和神经网络的基本概念与发展历史。深度学习作为机器学习的一个子集，通过算法自动提取特征，模仿人脑运行方式，广泛应用于语音识别、机器翻译、自动驾驶等领域。神经网络起源于20世纪50年代的感知机，经反向传播算法推动后，在2012年后随着AlexNet、AlphaGo等突破性进展而快速发展。人工神经网络模仿生物神经元结构，由输入层、隐藏层和输出层组成，通过权重连接传递信息。文章概述了这一技术的发展历程和应用前景，为后续学习奠定基础。
2025-07-16 01:37:38
868
原创 模型的保存加载
本文介绍了PyTorch中模型保存与加载的两种方法：1. 仅保存模型参数（state_dict），需重建相同模型结构后加载；2. 保存整个模型对象。同时提醒注意设备兼容性问题，建议使用map_location参数处理跨设备加载情况。这两种方法都能避免重复训练，实现模型的持久化使用。
2025-07-15 00:20:08
207
原创 自动微分模块
本文介绍了PyTorch中自动微分（Autograd）模块的使用方法。主要内容包括：1）梯度基本计算，通过backward方法和grad属性实现单标量和单向量梯度计算；2）控制梯度计算的三种方式（no_grad装饰器、set_grad_enabled、梯度清零）；3）梯度计算的注意事项，如requires_grad=True的张量需先detach()才能转换为numpy数组；4）梯度下降优化示例。文章强调梯度是累计的，计算前需手动清零，并指出detach后的张量与原张量共享数据但无需计算梯度。这些内容是神经
2025-07-14 23:54:38
478
原创 张量运算函数
本文介绍了PyTorch中张量的常见运算函数。主要内容包括：均值计算(mean)、求和(sum)、平方(pow)、平方根(sqrt)、指数(exp)和对数(log)等基本运算。通过示例代码展示了如何对2×3的随机张量进行这些运算，包括全局计算和按维度计算。文中强调张量运算时需要注意数据类型要求，如均值计算需要浮点类型。虽然内容不多，但作者认为将知识点拆分讲解更便于学习。最后展示了各运算函数的实际计算结果。
2025-07-14 18:39:40
431
原创 张量形状操作
本文介绍了深度学习中常用的张量形状操作函数及其用法。主要包括：1) reshape函数在不改变数据的前提下调整维度；2) transpose和permute用于交换张量维度；3) view函数修改形状需配合contiguous确保内存连续；4) squeeze删除值为1的维度，unsqueeze增加维度。这些操作在神经网络层间数据传递中至关重要，掌握它们能有效处理不同网络层之间的数据形状适配问题。文章通过代码示例详细演示了各函数的具体使用方法。
2025-07-13 20:27:41
785
原创 张量索引操作
本文介绍了PyTorch张量的多种索引操作方式，包括：1）简单行、列索引；2）通过列表获取指定位置元素；3）范围索引获取连续区域数据；4）布尔索引进行条件筛选；5）多维张量的切片操作。每种方法均配有代码示例和输出结果展示。文章强调掌握这些索引操作是使用PyTorch的基本技能，建议读者通过实际运行代码来加深理解。这些索引方式与NumPy的操作类似，具有一致的操作逻辑。
2025-07-13 12:05:36
567
原创 张量拼接操作
本文介绍了PyTorch中两种常用的张量拼接方法：torch.cat和torch.stack。torch.cat用于沿着指定维度拼接两个张量，通过示例展示了在0维、1维和2维拼接后的形状变化（如[6,5,4]、[3,10,4]、[3,5,8]）。torch.stack则是将张量沿新维度叠加，通过不同维度（0、1、2）的叠加演示了形状变化（如[2,2,3]、[2,3,2]）。这两种操作在神经网络构建（如残差网络、注意力机制）中非常实用，建议读者通过代码实践加深理解。
2025-07-12 20:29:05
605
原创 张量类型转换
本文介绍了张量与NumPy数组的相互转换方法。使用Tensor.numpy()可将张量转为NumPy数组（共享内存，可用copy避免），而torch.from_numpy()则将NumPy数组转为张量（默认共享内存）。torch.tensor()转换时不共享内存。对于单元素张量，可用item()提取数值。这些转换操作在PyTorch中经常使用，是必须掌握的基础知识。
2025-07-12 20:10:36
279
原创 张量数值计算
本文介绍了PyTorch中张量的基本运算和操作。主要内容包括：1）张量的基本算术运算(add/sub/mul/div)及其inplace版本；2）阿达玛积(对应元素相乘)的实现方法；3）点积运算的不同实现方式(@运算符、mm、bmm和matmul函数)；4）如何在CPU和GPU设备之间转移张量(cuda()/cpu()方法和to()方法)。文章通过代码示例演示了各种运算的具体用法，并强调了不同设备间的张量不能直接运算的注意事项。这些操作是PyTorch数据处理的基础，对深度学习模型的实现至关重要。
2025-07-12 19:56:47
633
原创 pytorch的介绍以及张量的创建
本文介绍了PyTorch深度学习框架的基本使用，重点讲解了张量的创建方法。主要内容包括：1) 通过torch.tensor、torch.Tensor等函数创建不同数据类型和形状的张量；2) 使用torch.arange、torch.linspace创建线性张量，以及设置随机种子生成随机张量；3) 创建全0、全1和指定值的张量；4) 张量数据类型转换的方法。文章还对比了主流深度学习框架的特点，指出PyTorch已成为学术界主流工具，并提供Python深度学习环境配置建议。
2025-07-11 22:45:34
1538
原创 深入理解机器学习
本文介绍了机器学习的基础概念和两类主要算法：有监督学习和无监督学习。在有监督学习中，重点讲解了KNN分类算法和线性回归的原理及应用，并通过电影分类和房价预测案例说明其实现过程。无监督学习部分阐述了KMeans聚类算法的工作原理，包括质心计算和轮廓系数等评估指标。文章强调机器学习模型的核心是通过算法从数据中寻找规律，最终实现对未知数据的预测或分类。随着AI发展，深度学习逐渐成为主流，但机器学习仍是重要基础。
2025-07-11 00:06:43
1287
原创 PHP基础3（错误处理，正则表达式，反序列化，操作mysql，cookie和session）
本文介绍了PHP开发中的进阶知识点：1. 错误处理机制：包括通过php.ini配置错误显示、设置不同级别的错误报告（E_ALL/E_NOTICE等）、记录错误日志到文件或系统日志的方法。2. 正则表达式应用：讲解了定界符使用规则、preg_match等常用正则函数，以及匹配/替换操作示例。3. 序列化与反序列化：演示了数组和类的序列化转换及安全注意事项。4. MySQL数据库操作：涵盖连接数据库、执行查询/插入等基本CRUD操作。5. 会话管理：对比了Cookie和Session的使用场景，展示登录状态维护
2025-06-27 05:10:26
1044
原创 PHP基础2（流程控制，函数）
本文详细介绍了PHP流程控制与函数的应用。主要内容包括： 流程控制结构：if/else条件判断、while/do-while/for循环、foreach遍历数组，以及break/continue控制语句； PHP函数基础：自定义函数定义与调用、参数传递与返回值； 常用内置函数：文件处理（fopen/fread）、数学计算（abs/round）、字符串操作（trim/substr）、日期时间（date/time）、数组处理（count/array_keys）等； 文件上传实现：表单设置、临时文件处理、安全验证
2025-06-26 19:36:32
959
原创 PHP基础1（php基础语法，变量与常量，数据类型，运算符）
本文介绍了PHP的基础语法和核心概念，包括：1. 基本语法结构（<?php ?>标签和echo输出）；2. 变量与常量的定义及命名规则；3. 数据类型（布尔、整型、浮点、字符串、数组等）；4. 运算符（算术、自增/减、比较、赋值、逻辑、三元运算符）；5. 单双引号字符串处理的区别。文章通过代码示例演示了PHP的基础操作，强调其作为后端语言生成动态HTML的能力。
2025-06-26 00:23:55
819
原创 web架构4------（nginx常用变量，nginx中英文自动匹配，lnmp网站架构，正向代理，反向代理，负载均衡）
本章节主要是讲nginx的基础配置
2025-06-08 13:07:06
999
原创 web架构3------（nginx的return跳转，gzip压缩，目录浏览，访问控制和location符号优先级）
本文介绍了Nginx的几项关键配置技术：1. HTTP到HTTPS的自动跳转，通过return 302或rewrite实现安全重定向；2. Gzip压缩功能配置，包括压缩级别、文件类型等参数优化；3. 目录浏览功能的开启方法；4. 基于IP的访问控制（allow/deny）实现；5. location匹配规则及优先级，包括正则表达式匹配和符号优先级（= > ~ > ~*）。这些配置技巧有助于提升网站安全性、访问速度和访问控制能力。
2025-06-02 22:47:29
1065
原创 web架构2------（nginx多站点配置，include配置文件，日志，basic认证，ssl认证）
本文深入讲解Nginx的多站点配置和高级功能实现。主要内容包括：1) 多站点配置的三种方式：多端口、多IP和多域名；2) 使用include拆分配置文件管理多个站点；3) Nginx日志配置，包括访问日志格式定制和错误日志；4) 开启basic认证增加网站访问安全；5) SSL证书配置实现HTTPS加密访问。文章通过具体配置示例详细说明了每种功能的实现方法，并针对实际应用场景给出了优化建议，如多域名方式可节省公网IP费用，include方式便于管理大量站点配置等。
2025-06-02 14:12:36
1025
原创 web架构1------（nginx的安装和基础配置）
本文介绍了Web服务器Nginx的基础配置与安装方法。首先说明Nginx相比Apache功能更强大但原理相似，建议先掌握Linux基础。然后详细讲解了通过epel源安装Nginx的步骤，包括启动服务和端口冲突处理（80端口被占用时Apache无法启动）。接着重点讲解了Nginx配置文件nginx.conf的核心参数：worker_processes（工作进程数）、worker_connections（连接数）、server模块（监听端口、域名设置）、location模块（站点根目录和默认首页配置）。文章还介
2025-05-25 00:50:58
1293
原创 linux基础操作11------（运行级别）
本文主要介绍了Linux系统中的权限管理、运行级别、特殊权限以及用户提权等安全相关的内容。首先，文章详细解释了Linux的运行级别及其切换方式，包括如何通过init和systemctl命令来管理系统的运行状态。接着，文章探讨了权限掩码（umask）的作用，如何通过umask值来控制文件和目录的初始权限，并介绍了inode和block的概念及其在文件存储中的作用。在特殊权限部分，文章重点讲解了SUID、SGID和粘滞位（sticky bit）的作用及其在系统安全中的应用。SUID允许普通用户以文件属主的权限
2025-05-21 15:59:08
1170
原创 linux基础操作10------（特殊符号，正则表达式，三剑客）
本文介绍了Linux中的一些进阶知识，主要包括特殊符号、正则表达式以及Linux三剑客（grep、sed、awk）的使用。首先，文章详细解释了Linux中常见的特殊符号，如#号用于注释、;用于分隔命令、.和..分别表示当前目录和上级目录等。接着，文章介绍了正则表达式的基本概念和常用符号，如^表示行首、$表示行尾、.表示任意字符等，并通过示例展示了如何使用正则表达式进行文本过滤和替换。最后，文章重点讲解了Linux三剑客的使用方法：grep擅长按行过滤文本，sed擅长取行和修改替换，awk擅长取列和计算。文章
2025-05-20 00:07:57
913
原创 linux基础操作9------（进程管理，定时任务，优化系统，服务管理）
本文主要介绍了操作系统中的进程管理、定时任务、系统优化和服务管理等内容。在进程管理部分，详细讲解了如何查看和关闭进程，包括使用ps命令查看进程信息、kill命令终止进程等。定时任务部分介绍了如何设置和管理定时任务，使用crontab命令来定期执行任务。系统优化部分提供了一些简单的优化建议，如优化SSH连接、关闭不必要的服务和安装常用软件等。最后，服务管理部分介绍了如何安装、启动、停止和管理服务，以httpd为例展示了服务的基本操作。通过这些内容，用户可以更好地管理和优化操作系统。
2025-05-19 02:46:52
533
原创 linux基础操作8------（软件安装和文件查找）
本文主要介绍了Linux系统下软件的安装和文件查找的方法。软件安装部分详细讲解了编译安装、RPM安装和YUM安装三种方式，其中编译安装最为复杂，涉及源代码的下载、配置、编译和安装过程；RPM安装相对简单，但需要手动解决依赖问题；YUM安装则能自动解决依赖，是最常用的安装方式。文件查找部分介绍了find命令的使用，包括按名称、大小、时间、用户等条件查找文件，并对查找结果进行处理。文章最后总结了各种安装方式的优缺点，并鼓励读者收藏以便后续学习。
2025-05-18 02:17:51
732
原创 linux基础操作7------（输入输出重定向，压缩打包，文件传输）
本章主要介绍了Linux系统中的输入输出重定向、压缩打包以及文件传输的相关操作。输入输出重定向部分详细讲解了如何将命令执行结果输出到文件、追加重定向、标准错误输出重定向等操作，并提供了相关命令示例。压缩打包部分介绍了常用的压缩工具如tar、gzip、zip和rar的使用方法，包括压缩、解压、查看压缩包内容等操作。文件传输部分则介绍了通过curl、wget、scp、rz和sz等工具在Linux系统之间或与Windows系统之间进行文件传输的方法。本章内容虽然涉及较多命令，但实际应用场景较少，建议在需要时查阅相
2025-05-13 00:37:57
625
原创 linux基础操作6------（vi/vim编辑器）
本文详细介绍了Linux系统中vi编辑器的基本操作和高级功能。首先，文章强调了vi在Linux环境中的重要性，并提到vim作为vi的增强版提供了更多功能。接着，文章详细讲解了如何在vi中移动光标、进入编辑模式、翻页、跳转至特定行、删除和复制文本、搜索和替换文本等操作。此外，文章还介绍了如何保存文件、退出编辑器以及处理未保存的编辑内容。最后，文章提供了替代vi的方法，如使用物理机上的文本编辑器进行文件编辑，并强调了学习vi对于高效处理大文件的重要性。总结部分指出，虽然vi功能强大，但对于不常使用Linux的用
2025-05-12 14:35:24
600
php靶场工具适用于windows2003
2025-06-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人