花书+吴恩达深度学习（一）前馈神经网络（多层感知机 MLP）

目录

0. 前言

1. 每一个神经元的组成

2. 梯度下降改善线性参数

3. 非线性激活函数

4. 输出单元

4.1. 线性单元

4.2. sigmoid 单元

4.3. softmax 单元

5. 神经网络宽度和深度的选择

6. 前向传播和反向传播

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~

花书+吴恩达深度学习（一）前馈神经网络（多层感知机 MLP）

花书+吴恩达深度学习（二）非线性激活函数（ReLU, maxout, sigmoid, tanh）

花书+吴恩达深度学习（三）反向传播算法 Back Propagation

花书+吴恩达深度学习（四）多分类 softmax

0. 前言

前馈神经网络（feedforward neural network），又称作深度前馈网络（deep feedforward network）、多层感知机（multilayer perceptron，MLP）。

信息流经过  的函数，流经中间的计算过程，最终达到输出  ，所以被称为是前向的。

在模型的输出和模型本身之间并没有反馈连接。

神经网络可以表示成如下图所示（图源：吴恩达深度学习）：

这是一个两层的神经网络，左侧是输入层，通常不算入网络层数的计算中，中间被称为隐藏层，右侧是输出层。

1. 每一个神经元的组成

每一个神经元由一个线性拟合和一个非线性激活函数组成。

假设，前一层的输入为  ，线性拟合表示为  ，权重乘以每一个特征值，再加上一个截距。非线性激活函数表示为  ， 为神经元的输出，也是传入下一层神经元的输入。

注：如果不使用非线性激活函数，那么每一个神经元都是线性的，导致一个神经网络多个神经元的线性组合仍然是线性的，最终的输出也是线性拟合，无法泛化非线性的问题。