AI监督学习算法：线性回归（最小二乘法、正则化(Ridge/Lasso)）深度解析

已于 2025-06-18 08:27:50 修改
阅读量1k 收藏 23
点赞数 14
CC 4.0 BY-SA版权
分类专栏： AI 人工智能开发全栈教程 文章标签： 算法 学习 线性回归 ai
于 2025-06-17 09:42:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27756951/article/details/148708839

文章目录

一、线性回归基础理论

1.1 线性回归模型定义

线性回归是统计学和机器学习中最基础且广泛应用的预测建模技术之一，它通过建立自变量（特征）与因变量（目标）之间的线性关系来进行预测。从形式化定义来看，给定一个包含n个样本的数据集，其中每个样本有d个特征，线性回归模型可以表示为：

y = w 0 + w 1 x 1

了解本专栏 订阅专栏 解锁全文
【人工智能】机器学习：岭回归与LASSO回归(Ridge/LASSO Regression)
AI天才研究院
05-07 1万+
岭回归与LASSO回归是将正则化思想引入线性回归模型后得到的方法。 岭回归对模型的参数加入L2正则化，能够有效的防止模型过拟合，解决非满秩下求逆困难的问题。 LASSO回归全称为Least Absolute Shrinkage and Selection Operator (最小绝对收缩选择算子, 套索算法) ，对模型的参数加入L1正则化，能够稀疏矩阵，进行庞大特征数量下的特征选择。
AI监督学习算法：逻辑回归（sigmoid函数、多分类(softmax)、正则化等）深度解析
专注Java开发与国产数据库技术分享，涵盖达梦DM8/OceanBase/GaussDB核心原理与实战，兼及DeepSeek大模型部署、YOLOv11训练等AI技术，为开发者提供从基础到进阶的技术干货。
06-17 905
逻辑回归是一种经典的分类方法，通过Sigmoid函数将线性预测值转化为概率输出，适用于二分类问题。文章系统介绍了逻辑回归的核心概念、数学基础和模型构建过程，包括Sigmoid函数的特性分析、极大似然估计参数优化方法，以及梯度下降算法和正则化技术。逻辑回归具有概率输出、线性决策边界和良好可解释性等特点，但也存在梯度消失等问题。文章还比较了不同分类算法的特性，并强调了数值稳定实现的重要性。逻辑回归在实际应用中需满足线性假设、独立性等前提条件，当这些条件不满足时可能需考虑非线性扩展或其他模型。
监督学习之线性回归
ydl1128的博客
10-22 771
线性回归是机器学习中最基础且广泛使用的回归算法之一，用于预测因变量（目标变量）和一个或多个自变量（特征变量）之间的线性关系。它通过找到一条最佳拟合直线，最小化数据点与直线之间的误差来进行预测。yβ0β1x1β2x2⋯βnxnϵyβ0​β1​x1​β2​x2​⋯βn​xn​ϵ( y ) 是目标变量（因变量）。x1x_1x1​x2x_2x2​\dotsxnx_nxn​) 是自变量（特征变量）。
线性回归
YJ语
01-27 827
文章目录1、 线性回归的原理1.1 线性回归应用场景1.2 什么是线性回归1.2.1定义与公式1.2.2 线性回归的特征与目标的关系分析2、线性回归的损失和优化原理2.1 损失函数2.2 优化算法2.3 优化动态图演示3、 线性回归API4、波士顿房价预测4.1 数据介绍4.2 分析4.2 回归性能评估4.3 代码实现5 总结 1、 线性回归的原理 1.1 线性回归应用场景 房价预测 销售额度预测 金融：贷款额度预测、利用线性回归以及系数分析因子 1.2 什么是线性回归 1.2.1定义与公式 线性回归(Li
监督学习算法之：线性回归模型
weixin_42533277的博客
12-23 1168
1.算法简介 线性回归模型实际上是基于目标变量与特征变量之间线性相关的假设前提，对研究对象的d个特征变量进行线性组合，从而预测目标变量取值的函数。 设定研究对象的d个特征变量（即属性）为：，其中 是  在第个属性上的取值。线性回归模型的基本表达形式为：                                                      写成向量形式：      ...
监督学习算法（五）：简单线性回归
qq_36499794的博客
01-06 373
五. 简单线性回归 1. 离散程度的衡量：方差，标准差。 2. 对于分类问题Y变量为类别型，对于回归问题Y变量为连续数值型。 3. 回归分析用来建立方程模拟两个或者多个变量之间如何关联，被预测的变量被称为因变量，用来进行预测的变量叫做自变量。 4. 简单线性回归的模型是：y = b0 + b1*x+e, b0，b1是参数，e是偏差，e是一个随机变量，独立，满足正太分布，并且均值为0. 接...
6、AI工程日志：线性回归之最小二乘法与正则化对比【附核心代码】
轻口味的专栏
03-22 1034
线性回归中的最小二乘法、Ridge回归和Lasso回归各有优劣，在实际应用中需要根据数据的特点和业务需求进行选择。最小二乘法适用于数据量较小、特征之间线性独立且不存在过拟合问题的场景；Ridge回归适用于特征之间存在多重共线性的情况，能够通过参数收缩提高模型的稳定性；Lasso回归则适用于高维数据或需要进行特征选择的场景，不仅可以提高模型的泛化能力，还能简化模型结构，便于解释。然而，正则化参数的选择对模型性能有着重要影响，通过交叉验证可以有效地找到最佳的正则化参数，避免人为设定参数带来的主观性和不确定性。
回归算法学习笔记——线性回归、随机梯度（SGD、BGD）、逻辑回归（牛顿法）、Softmax回归算法、L1/L2正则化、Ridge、Lasso、ElasticNet
weixin_43870329的博客
06-07 4002
目录线性回归梯度下降算法构建损失函数梯度下降法Logistic Regression算法sigmoid函数构造目标函数构造损失函数-极大似然估计梯度下降多分类问题优化算法：牛顿法切线法另一种理解方式改进：拟牛顿法Softmax Regression算法Softmax回归代价函数L1/L2正则化L1L2L1和L2对比正则化目的Ridge与LassoElasticNet 线性回归 回归分析 目标函数：线性回归方程 y=wx+by = wx + by=wx+b 一个或多个自变量和因变量之间的关系进行建模(其中θ
机器学习 学习总结 第一章 监督学习中的线性回归算法
Ace_bb的博客
01-15 533
监督学习中的线性回归算法 监督学习：对于每一个数据，给出了“正确的答案” 线性回归算法 回归问题： 回归是指我们根据之前的数据预测一个准确的输出值 分类问题： 当我们要预测离散的输出值，0/1离散值输出问题 数据集（训练集） 以房子价格为例，数据集就包含不同房屋的价格，我们需从数据中学习预测房屋价格。 m表示数据集中数据的数量，x为输入量，y为输出量。（x,y)为一个数据实例。 h为从x到y的...
监督学习算法——线性回归算法
Taiiiii的博客
04-27 1489
文章目录线性回归工作原理简单线性回归最小二乘法：公式向量化多元线性回归正规方程解：梯度下降解优缺点线性回归算法的 评测sklearn 中线性回归算法调用手打python实现简单线性回归 线性回归工作原理 简而言之，就是通过已知数据的拟合出一条线性线，来预测 希望 yyy 与 y^(i)\hat{y}^{(i)}y^​(i) 的距离差距尽量小： 选用公式 (y(i)−y^(i))2\left(y...
有监督学习1--线性回归
qiaoqiaomanman的博客
03-15 2865
有监督学习1–线性回归 对于有监督学习首先要理解几个概念： 有监督学习的预备知识： 什么是机器学习： 机器学习主要是研究如何使计算机从给定的数据中学习规律，即从观测数据（样本）中寻找规律，并利用学习到的规律（模型）对位置或无法观测的数据进行预测。 所谓“学习”是指：针对经验E(experience)和一系列的任务T(tasks)和一定表现的衡量P，如果随着经验E的积累，针对定义好的任务T可以提高表...
监督学习 - 线性回归
金皓皓的专栏
12-21 681
本文介绍linear regression的相关知识，作为监督学习中的一个重要的方法和手段，其重要性不言而喻。其实线性回归的应用十分简单，就是在一组数样本(x,y)中发现一定规律，用来对新的xi预测新的yi。 就比如下图有这样一组数据： 然后我们根据已知的这些数据，通过线性回归进行学习，得到这样的一条直线就可以根据新的房屋面积预测价格了。当然实际要复杂很多，也可能不是一条直线，甚至不在
机器学习---监督学习之线性回归
I_AM_KK的博客
05-24 468
分类和回归的区别： 分类，我们预测一个状态， 回归，我们预测一个值。 线性回归是：通过已有的数据，拟合出一条符合它的直线，用来预测其他可能出现的值。 如何拟合一条好的直线呢？ 绝对值技巧： 先随机生成一条直线y=w1x+w2y=w1x+w2y=w1x+w2,w1是斜率，w2是截距，我们通过调整这两个参数来使这条直线逐渐靠近一个原始的点（p,q）。 如何慢慢调整这两个参数呢？ 我们把w1+p,w...
10.【C语言学习笔记】指针（二）
qq_54652195的博客
06-30 428
C语言 1.数组名的理解（数组首元素的地址，sizeof(arr)和&arr代表整个数组）；2.使用指针访问数组；3.一维数组传参的本质（传递数组首元素的地址）；4.二级指针变量（指针的指针）；5.指针数组（是数组）；6.数组指针（指向数组的指针）；7.二维数组传参的本质（传递第一行这个一维数组的地址）；8.字符指针变量（常量字符串不能修改）；9.函数指针变量（存放函数的地址）、typedef关键字的使用；10.函数指针数组—转移表的使用。
2025年6月28和29日复习和预习（C++）
最新发布
m0_46324731的博客
07-01 443
(10) 编写程序，判断一个字符串（用户输入）中是否包含特定字符（用户输入），使用 for 循环遍历字符串，若包含则输出该字符在字符串中的位置，否则输出 “未找到”。，条件表达式为______，更新表达式为______。(10) 编写程序，创建一个数组，接收用户输入的 8 个整数，将数组中所有奇数移到数组的前面，偶数移到数组的后面，并输出调整后的数组。(8) 声明一个数组，将数组中的元素逆序存储（例如原数组为 {1, 2, 3}，逆序后为 {3, 2, 1}），并输出逆序后的数组。
洛谷P3871 [TJOI2010] 中位数
yjfyjfyjf54188的博客
06-26 762
中位数是指将一个序列按照从小到大排序后处在中间位置的数。（若序列长度为偶数，则指处在中间位置的两个数中较小的那个）个整数，表示整数序列，数字之间用空格分隔。我们直接平衡树启动。每次记录一下序列长度。由于我们要求中位数，若当前序列的长度。为奇数，则我们需要求排序后位于第。行，每行输入格式如题意所述。序列中整数的绝对值不超过。，序列中的数可能有重复。第一行为初始序列长度。操作输出中位数的值。
【LeetCode 热题 100】560. 和为 K 的子数组——（解法二）前缀和+哈希表
qq_54452916的博客
06-29 932
Problem:题目：给你一个整数数组 nums 和一个整数 k ，请你统计并返回 该数组中和为 k 的子数组的个数。子数组是数组中元素的连续非空序列。
(LeetCode 面试经典 150 题 ) 238. 除自身以外数组的乘积 (前缀和)
记录一些刷过的题并分享学习心得
06-27 481
【代码】(LeetCode 面试经典 150 题 ) 238. 除自身以外数组的乘积 (前缀和)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Clf丶忆笙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值