DataWhale 二月组队学习-深度学习教程-Task02

线性模型

对于把输入的特征值乘上一个权重再加上一个偏置的模型称为线性模型。

问题引入

对于更加复杂的输入和输出的关系，比如不是恒单调增加或减少的函数（类似折线、波形函数等），显然单一的线性模型无法去描述这样的输入输出关系，为此，我们需要更多的参数和更复杂的函数来描述这样的关系，于是引出了这次的研究主体：

即用多个图中的蓝色分段函数和一个常数相加得到目标红色函数。

对每一处转折（即函数的分段点），都可以用一个蓝色折线表示。则real=constant+ 蓝色折线∑蓝色折线

而如何用函数表示每一个蓝色折线，有两种方式，这样表示出来的函数叫做激活函数。

激活函数

激活函数的意义探究：如果不存在激活函数，只使用线性模型的话，无论神经网络有几层，最终其实都是线性模型，无论调整几个w1、w2……所以需要在每层网络之间加入这个激活函数，通过他们可以求导的特性反向传播从而进行训练。

1.