【深度学习】关键技术-正则化（Regularization）

正则化（Regularization） 是一种用于防止模型过拟合的技术。它通过在损失函数中添加额外的约束项，限制模型的复杂度，从而提高模型的泛化能力。

正则化的主要作用

1. 防止过拟合：通过抑制模型对训练数据的过度拟合，提升对未见数据的预测能力。
2. 控制模型复杂度：约束模型参数的大小，避免模型过于灵活。
3. 提高稳定性：减少模型对输入噪声的敏感性。

常见的正则化方法

1. L1 正则化

• 在损失函数中添加权重绝对值的和。
• 正则项：
  
  
• 特点：倾向于使一些权重变为零，具有稀疏性，适合特征选择。

2. L2 正则化

• 在损失函数中添加权重平方和。
• 正则项：