经典深度学习网络【一天了解一个ok?】【基本点创新点】

googlenet

u-net

resnet

在ResNet网络中有如下几个亮点：

1.提出residual结构（残差结构），并搭建超深的网络结构(突破1000层)
2.使用Batch Normalization加速训练(丢弃dropout)

遇到的问题：

1. 梯度消失或梯度爆炸：BN
2. 退化问题(degradation problem)：residual结构（残差结构）来减轻退化问题

• 核心思想与特点：

  • 不再让网络层直接拟合目标函数 H(x)，而是拟合残差函数 F(x) = H(x) - x。

  • 通过恒等跳跃连接将输入 x 直接加到层的输出上：Output = F(x) + x。

  • 这使得网络更容易学习到F(x) = 0（即恒等映射），从而保证增加深度不会带来性能损失。

  • 极大地简化了深层网络的优化过程。

AlexNet

lenet

transformer