深度学习技巧应用2-神经网络中的‘残差连接’的应用技巧

为什么用残差连接？？ 随着深度网络层数的加深，带来了一系列问题，如梯度消失，梯度爆炸，模型容易过拟合，计算资源的消耗等问题。随着网络层数的增加发生了网络退化现象，loss先是下降并趋于饱和，然后loss增加。 针对这些问题，也有一些对应的解决方案，如dropout层用来防止过拟合，随机丢弃神经元对网络结构进行轻量化处理，一定程度上解决数据集小和网络复杂的情况下的过拟合问题。Rule层（y=max（0，x））主要用来防止梯度消失问题。。 BN（batch normlization）将数据规整到0到1或..

残差连接（Residual Connection）是一种通过引入跨层的直接连接来优化深度神经网络的方法。

深度神经网络的训练稳定性和表达能力是现代人工智能模型成功的关键，尤其是Transformer架构。残差连接（Residual Connection）和层归一化（Layer Normalization）作为两项核心技术，极大地推动了深层网络的可训练性和泛化能力。残差连接通过跳跃连接缓解梯度消失/爆炸问题，保留输入信息，并简化优化过程；层归一化则通过标准化每个样本的特征维度，提升训练稳定性，尤其适合序列建模任务。在Transformer架构中，残差连接通常用于子层输入与输出之间，而层归一化则放置在子层前（Pre

残差连接是一种强大的网络设计技巧，它通过简单的改进显著提升了深度学习模型的性能和稳定性，特别是在构建深层网络时。在Point Transformer网络中，残差连接的应用同样关键，它帮助模型更有效地处理3D点云数据，提高了模型在复杂三维空间任务中的性能。

目的:避免经过多层训练之后的效果不如前面的层 原理:同时计算出两个数值，一个是经过多层训练的X，另一个是保留的上一层的X，两个效果进行比较 一句话:不能比原来的效果差

在残差连接中，X 通常被称为“残差”或“跳跃连接”，因为它是从输入直接跳到输出的。这样的设计使得网络的每一层都能够学习残差，而不是必须从零开始学习整个映射。这有助于缓解训练深层网络时的梯度消失问题，同时提高了网络的收敛速度。它的核心思想是通过将网络的输入直接传递到网络的输出，从而构建了一条直达路径，使得梯度更容易通过整个网络传播。这有助于在训练深层网络时避免梯度消失或梯度爆炸的问题。残差连接最早由何凯明等人在2016年的论文中提出，并被成功地应用于深度残差网络（ResNet）中。

残差连接作用

除了典型的ResNet,它包括ResNeXt, Res2Net, SE-ResNet, Residual Attention Network等等。Res2Net是一种改进的ResNet,它使用多分支的残差结构,而不像ResNet只有单一的残差路径。在残差块的投影映射中,1x1卷积用来匹配输入和输出的通道数量。ResNet是基于残差网络的架构,它通过在很深的网络添加残差连接来获得很高的准确率。因为残差连接可以让梯度直接传递到很深的层,而不需要通过每一层的激活函数,所以可以避免在每层的激活函数中衰减太多。

本文详细介绍了残差连接（Residual Connection）的概念及其在Transformer模型中的应用。通过对残差连接的工作原理和优势的分析，说明了其在解决深层神经网络退化问题和提高模型性能方面的关键作用。残差连接在编码器和解码器中的具体实现方式也进行了深入探讨，帮助读者更好地理解Transformer模型的结构和功能。

一、背景 1）梯度消失问题 我们发现很深的网络层，由于参数初始化一般更靠近0，这样在训练的过程中更新浅层网络的参数时，很容易随着网络的深入而导致梯度消失，浅层的参数无法更新。 解释： 可以看到，假设现在需要更新b1，w2,w3,w4参数因为随机初始化偏向于0，通过链式求导我们会发现，w1w2w3相乘会得到更加接近于0的数，那么所求的这个b1的梯度就接近于0，也就产生了梯度消失的现象。 2）网络退化问题 举个例子，假设已经有了一个最优化的网络结构，是18层。当我们设计网络结构的时候，我们并不知

目录 1，CNN演化 2，残差连接想法的基础 3，残差结构 4，为什么残差连接有效 4.1 简化学习过程，增强了梯度传播解决梯度消散 4.2为什么可以解决网络退化问题 4.3 残差打破了网络的不对称性 4.4增加模型的泛化能力 GoogLeNet的22层网路已经接近当时探索的网络深度的极限了。知道残差网络的出现，使得1000层的网络构建已经不再是梦想； 1，CNN演化 先引入一张CNN结构演化图： 2012年AlexNet做出历史突破以来，直到GoogLeNet出来之...

1 Skip Connect 想必做深度学习的都知道skip connect，也就是残差连接，那什么是skip connect呢？如下图 上面是来自于resnet【1】的skip block的示意图。我们可以使用一个非线性变化函数来描述一个网络的输入输出，即输入为X，输出为F(x)，F通常包括了卷积，激活等操作。 当我们强行将一个输入添加到函数的输出的时候，虽然我们仍然可以用G(x...

1、残差连接 想必做深度学习的都知道skip connect，也就是残差连接，那什么是skip connect呢？如下图 上面是来自于resnet【1】的skip block的示意图。我们可以使用一个非线性变化函数来描述一个网络的输入输出，即输入为X，输出为F(x)，F通常包括了卷积，激活等操作。 当我们强行将一个输入添加到函数的输出的时候，虽然我们仍然可以用G(x)来描述输入输出的关系，但是这...