00 Deep learning神经网络编程基础 回归、拟合、最小二乘法 --吴恩达

回归和拟合

1. 从数学角度看回归与拟合的关系

回归分析是一种统计方法，用于研究因变量与一个或多个自变量之间的关系。目标是建立一个数学模型来描述这种关系。
回归本质上属于数理统计问题，研究解释变量与响应变量之间的关系以及相关性等问题。
回归大多数采用最小二乘法。回归可以分为一元线性回归、一元非线性回归、多元线性回归、多元非线性回归等。
拟合是把平面的一系列点，用一条光滑曲线连接起来，并且让更多的点在曲线上或曲线附近。更确切的说，拟合是回归用到的一种数学方法。
拟合常用的方法有最小二乘法、梯度下降法、高斯牛顿（即迭代最小二乘）、列-马算法。其中最最常用的就是最小二乘法。并且拟合可以分为线性拟合与非线性拟合，非线性拟合比较常用的是多项式拟合。根据自变量的个数，拟合也可以分为曲线拟合与曲面拟合等。
关系：回归通常需要通过拟合来实现其目标。

2. 从深度学习角度看回归与拟合的关系

回归在机器学习中通常指预测连续值的问题，比如房价预测、温度预测等。
而拟合则是指模型对训练数据的适应程度，过拟合和欠拟合是常见的问题。