全连接神经网络（前馈神经网络）

無量空所

已于 2025-01-27 22:03:07 修改

阅读量3.2k

点赞数 36

CC 4.0 BY-SA版权

分类专栏：深度学习文章标签：神经网络人工智能深度学习

于 2025-01-24 22:37:56 首次发布

本文链接：https://blog.csdn.net/m0_67804957/article/details/145326325

一、全连接神经网络介绍

在多层神经网络中，第 N 层的每个神经元都分别与第 N-1 层的神经元相互连接。

1、神经元

这个神经元接收的输入信号为向量 $(x_1,x_2,x_3,x_4,x_5)$ ，向量 $(w_1,w_2,w_3,w_4,w_5)$ 为输入向量的组合权重， $b$ 为偏置项，是一个标量。

神经元的作用是对输入向量进行加权求和，并加上偏置项 b，最后经过激活函数f 变换产生输出： $y = f\left(\sum_{i=1}^{5} w_i x_i + b\right)$ ===> $y = f(w^Tx+b)$

2、网络结构

在分类问题中，神经网络一般有多层：

第一层为输入层，对应输入向量， 神经元的数量等于特征向量的维数，输入层不对数据进行处理，只是将输入向量送入下一层中进行计算。

中间层为隐含层，可能有多个。

最后是输出层， 神经元的数量等于要分类的类别数，输出层的输出值被用来做分类预测

第一层是输入层，对应的输入向量为 $(x_1,x_2,x_3)$ ，有 3 个神经元，输入层不对数据做任何处理，直接原样送入下一层。

中间层有 4 个神经元，接收的数据为 $(x_1,x_2,x_3)$ ，输出向量为 $(y_1,y_2,y_3,y_4)$ 。

第三层为输出层，接收的数据为向量 $(y_1,y_2,y_3,y_4)$ ，输出向量为 $(z_1,z_2)$

神经网络通过激活函数而具有非线性，通过调整权重形成不同的映射函数。现实应用中要拟合的函数一般是非线性的，线性函数无论怎样复合最终还是线性函数，因此，必须使用非线性激活函数。

3、正向传播算法

算法公式： $u^{(l)} = W^{(l)} z^{(l-1)} + b^{(l)}$ ， $z^{(l)} = f(u^{(l)})$

假设神经网络有 m 层，正向传播算法的流程为：

二、反向传播算法

1、理解

假设神经网络有 $n_l$ 层，第 $l$ 层的神经元个数为 $s_l$ 。第 $l$ 层从第 $l - 1$ 层接收的输入向量为 $z^{(l-1)}$ ，第 $l$ 层的权重矩阵为 $w^{(l)}$ ，偏置向量为 $b^{(l)}$ ，输出向量为 $z^{(l)}$ 。该层的输出可以写成如下形式：