ResNet 经典网络详解：深度学习中的革命性突破（含代码）

murphymeng2001

已于 2025-03-14 00:55:34 修改

阅读量5.6k

点赞数 38

CC 4.0 BY-SA版权

分类专栏：计算机视觉文章标签：网络深度学习人工智能

于 2025-03-10 10:58:20 首次发布

本文链接：https://blog.csdn.net/murphymeng2001/article/details/146147353

计算机视觉专栏收录该内容

4 篇文章

订阅专栏

ResNet：解决深度网络训练难题的核心技术

在深度学习的发展历程中，ResNet（残差网络）是一个重要的突破。它成功解决了深层神经网络训练中的梯度消失问题，使得深度模型能够达到更好的性能。本文将以 ResNet-18 为例，详细解析其网络结构、关键技术，并探讨其实际应用。

1. ResNet-18 的结构

ResNet-18 的整体结构由多个阶段组成，每个阶段包含若干个 残差块（ResBlock）。每个残差块内部有两次卷积操作，其中包括 3×3 卷积 和 批量归一化（BatchNorm），并在输出端通过 ReLU 激活函数 进行非线性变换。

下面ResNet-18 结构图

具体来说，ResNet-18 由以下 6 个主要阶段组成：

Stage 1：7×7 卷积层 + 最大池化，初步提取特征。
Stage 2：两个 实线 ResBlock，输入输出尺寸不变。
Stage 3：一个 虚线 ResBlock（尺寸减半） + 一个 实线 ResBlock。
Stage 4：一个 虚线 ResBlock（尺寸减半） + 一个 实线 ResBlock。
Stage 5：一个 虚线 ResBlock（尺寸减半） + 一个 实线 ResBlock。
Stage 6：全局平均池化（Global Average Pooling）+ 全连接层，用于分类任务。

2. 为什么需要 ResNet？

在神经网络的训练过程中，主要面临两个挑战：

梯度消失问题（Vanishing Gradient）
- 在传统的深层网络中，随着网络层数增加，梯度在反向传播时会逐渐减小，导致靠近输入层的参数更新变慢，影响模型的训练效果。
退化问题（Degradation Problem）
- 直觉上，我们希望增加网络深度可以提高模型性能。然而实验发现，当层数足够深时，训练误差反而增大，说明模型学习能力受限。

🌟 解决方案：残差连接（Skip Connection）

ResNet 提出了 残差学习（Residual Learning），其核心思想是 直接让信息跨层传输，避免梯度消失，并帮助网络学习更深层次的特征。

残差块（ResBlock）的数学表达式如下：

3. 关键技术解析：残差块（ResBlock）

ResNet 的核心在于 残差块（ResBlock），它由两个卷积层组成，并且引入了 Shortcut Connection（跳跃连接）。

🔹 残差块的 PyTorch 实现

import torch
from torch import nn

class ResBlock(nn.Module):
    def __init__(self, in_channels, out_channels, stride):
        super().__init__()
        self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False)
        self.bn1 = nn.BatchNorm2d(out_channels)
        self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False)
        self.bn2 = nn.BatchNorm2d(out_channels)
        
        # 只有 stride=2 时，调整 shortcut 的尺寸
        self.shortcut = nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=stride, bias=False) if stride == 2 else nn.Identity()

    def forward(self, x):
        shortcut = self.shortcut(x)
        x = torch.relu(self.bn1(self.conv1(x)))
        x = self.bn2(self.conv2(x))
        return torch.relu(x + shortcut)  # 残差连接

实线残差块（stride=1）：保持输入和输出尺寸不变。
虚线残差块（stride=2）：在 shortcut 处使用 1×1 卷积来降低特征图尺寸，使得输入和输出可以相加。

4. ResNet-18 的完整 PyTorch 实现

class ResNet18(nn.Module):
    def __init__(self, num_classes=10):
        super().__init__()
        self.stage1 = nn.Sequential(
            nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3, bias=False),
            nn.BatchNorm2d(64),
            nn.ReLU(),
            nn.MaxPool2d(kernel_size=3, stride=2, padding=1)
        )
        
        self.stage2 = nn.Sequential(ResBlock(64, 64, stride=1), ResBlock(64, 64, stride=1))
        self.stage3 = nn.Sequential(ResBlock(64, 128, stride=2), ResBlock(128, 128, stride=1))
        self.stage4 = nn.Sequential(ResBlock(128, 256, stride=2), ResBlock(256, 256, stride=1))
        self.stage5 = nn.Sequential(ResBlock(256, 512, stride=2), ResBlock(512, 512, stride=1))

        self.global_pool = nn.AdaptiveAvgPool2d((1, 1))
        self.fc = nn.Linear(512, num_classes)

    def forward(self, x):
        x = self.stage1(x)
        x = self.stage2(x)
        x = self.stage3(x)
        x = self.stage4(x)
        x = self.stage5(x)
        x = self.global_pool(x)
        x = torch.flatten(x, 1)
        return self.fc(x)

# 测试 ResNet-18
model = ResNet18()
X = torch.randn(1, 3, 224, 224)
print(model(X).shape)  # 输出 (1, 10)