Keras 实现加载预训练模型并冻结网络的层

在深度学习领域，预训练模型已经成为提升模型性能的常用手段，特别是对于计算机视觉任务，如图像分类。Keras 是一个非常流行的深度学习框架，它提供了简单易用的接口来加载预训练模型，并允许用户根据需求调整和微调模型。本文将详细介绍如何在Keras中加载预训练模型以及如何冻结网络的层。 加载预训练模型的基本步骤是导入所需的应用程序模块，例如 `tensorflow.python.keras.applications` 中的 `Xception`。`Xception` 是一种高效的卷积神经网络，其权重已在 ImageNet 数据集上进行了预训练。以下代码展示了如何加载不包含顶层（即全连接层）的预训练 `Xception` 模型： ```python from tensorflow.python.keras.applications import Xception model = Sequential() model.add(Xception(include_top=False, pooling='avg', weights='imagenet')) ``` 这里的 `include_top=False` 表示不包括顶层的全连接层，`pooling='avg'` 表示使用全局平均池化，`weights='imagenet'` 指定加载在 ImageNet 上预训练的权重。 接着，为了适应特定任务（例如分类），我们可以添加新的全连接层（Dense）： ```python model.add(Dense(NUM_CLASS, activation='softmax')) ``` `NUM_CLASS` 是目标任务的类别数，`activation='softmax'` 用于输出概率分布。 加载预训练模型后，我们可能会希望冻结模型的部分或所有层，以便只训练新添加的层。这可以通过设置每个层的 `trainable` 属性来实现。例如，以下代码将 `Xception` 的所有层冻结： ```python model.layers[0].trainable = False ``` 如果只想冻结 `Xception` 模型的前几层，可以遍历 `model.layers[0].layers`，根据索引 `i` 来决定是否冻结： ```python for i, layer in enumerate(model.layers[0].layers): if i > 115: # 假设116层之后的层我们希望训练 layer.trainable = True else: layer.trainable = False ``` 这里，`enumerate()` 函数用于同时获取层的索引和层对象，然后根据索引 `i` 设置 `trainable` 属性。 在某些情况下，我们可能希望使用预训练模型的全部层，并改变输出类别数。这可以通过将 `include_top=True` 和 `weights=None` 传递给 `Xception` 构造函数，并指定 `classes=NUM_CLASS` 来实现： ```python model = Sequential() model.add(Xception(include_top=True, weights=None, classes=NUM_CLASS)) ``` 需要注意的是，当 `weights=None` 时，模型的权重将随机初始化，而不是加载预训练权重。 微调预训练模型的关键在于平衡保留预训练权重的优势和针对新任务的适应性。这通常涉及冻结部分层、设置不同的学习率，以及根据数据集大小调整训练策略。以下是一些常见的微调策略： 1. **数据集较小，与预训练模型数据集相似**：只需调整输出层，保持其他层的权重不变。 2. **数据集较小，与预训练模型数据集差异大**：冻结前几层，只训练后几层，这样可以利用预训练模型的特征提取能力。 3. **数据集较大，与预训练模型数据集相似**：可以完全训练模型，但通常需要较低的学习率以避免过度拟合。 4. **数据集较大，与预训练模型数据集差异大**：可以考虑从头训练，或者仅保留预训练模型的低层，因为它们更通用。 Keras 提供了灵活的接口来加载和微调预训练模型，这对于快速启动项目和优化模型性能非常有帮助。通过冻结层、调整学习率和训练策略，我们可以充分利用预训练模型的潜力，同时有效地适应新的任务。