DNN 激活函数 CNN 概念

一、DNN 模型

1、DNN基本结构

神经网络（Deep Neural Networks， 以下简称DNN）是深度学习的基础，而要理解DNN，首先我们要理解DNN模型，下面我们就对DNN的模型与前向传播算法做一个总结。

从DNN按不同层的位置划分，DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层,如下图示例，一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。

层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂，但是从小的局部模型来说，还是和感知机一样，即一个线性关系z=∑wixi+b 加上一个激活函数σ(z)。

        首先我们来看看线性关系系数ww的定义。以下图一个三层的DNN为例，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为w324w243。上标3代表线性系数ww所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。你也许会问，为什么不是w342w423, 而是w324w243呢？这主要是为了便于模型用于矩阵表示运算，如果是w342w423而每次进行矩阵运算是wTx+b ，需要进行转置。将输出的索引放在前面的话，则线性运算不用转置,即直接为wx+bwx+b。总结下，第l−1l−1层的第k个